热文分布式调度系统Apache DolphinScheduler系列（十一）使用DolphinScheduler执行spark job任务

在DolphinScheduler中，我们还会涉及到经常使用到的一种任务类型，就是运行spark的任务，这篇文章我们介绍下使用DolphinScheduler配置下spark的对应任务。下面直接开始。一、首先需要部署...

RaeDolphin系列2023-04-252810 阅读0 评论

热文spark安装配置篇（一）spark-3.4.0单机版安装教程

在dolphinscheduler系列里面我们还有一个常用的没有介绍到的就是spark了，这篇文章我们介绍下spark的单机版本安装。下面直接开始。一、下载spark最新版本要想安装spark，我们首先需要去下载一个...

Raespark系列2023-04-241901 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（十）使用DolphinScheduler执行flink sql任务

在DolphinScheduler的flink组件中，除了执行常规的batch和stream项目，这里还可以直接配置flink sql。如果配置flink sql的话，这里执行的是sql-client.sh的执行方式...

RaeDolphin系列2023-04-202869 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（九）使用DolphinScheduler执行flink job任务

上一篇文章《分布式调度系统Apache DolphinScheduler系列（八）使用DolphinScheduler执行hive cli》我们介绍了在DolphinScheduler上配置hive cli，这篇文章...

RaeDolphin系列2023-04-192671 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（八）使用DolphinScheduler执行hive cli

上一篇文章《分布式调度系统Apache DolphinScheduler系列（七）使用DolphinScheduler执行hive sql》我们介绍了使用sql的方式执行hive相关的sql，但是这个hive sql...

RaeDolphin系列2023-04-181970 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（七）使用DolphinScheduler执行hive sql

这篇文章我们介绍下使用DolphinScheduler来运行hive的sql，这样子很多定时任务等等都可以在这里运行起来。下面直接开始。一、创建一个dolphinscheduler的租户在hive的安装文章里面《Hi...

RaeDolphin系列2023-04-181607 阅读0 评论

热文Hive安装配置篇（二）配置Hive的jdbc连接使用用户名和密码

上一篇文章《Hive安装配置篇（一）Hive3.1.3单机版安装教程》我们介绍了hive的基本安装，在使用hive的时候，我们经常会使用java的jdbc进行连接，因此这篇文章我们介绍下为hive的jdbc连接配置用...

RaeHive系列2023-04-181711 阅读0 评论

热文Hadoop安装配置篇（三）配置FairScheduler公平调度器

在hadoop集群里面，我们一般会使用yarn做资源管理器，所以这里的话，我们需要为hadoop集群配置调度器，在hadoop上，有三种调度器，分别是：FIFO 先进先出调度器 Capacity 容量调度器 Fair...

Raehadoop系列2023-04-181094 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（六）使用DolphinScheduler执行mapreduce任务

上一篇文章《分布式调度系统Apache DolphinScheduler系列（五）配置资源管理的文件存储》我们介绍了文件存储的配置，这篇文章我们演示下把mapreduce的job任务提交到DolphinSchedul...

RaeDolphin系列2023-04-181729 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（五）配置资源管理的文件存储

承接上一篇《分布式调度系统Apache DolphinScheduler系列（四）配置datax的增量同步》，这篇文章我们介绍下在DolphinScheduler上配置文件存储。还记得在DolphinSchedule...

RaeDolphin系列2023-04-172662 阅读0 评论

热文Hadoop安装配置篇（二）配置hadoop关闭掉hdfs权限验证

在hadoop集群环境里面，我们经常会涉及到使用其他系统来操作hadoop集群里面的hdfs，例如：spark要向hdfs写入文件，我们可能使用不同的用户操作hdfs的api，等等。在hadoop中，默认是开启了权限...

Raehadoop系列2023-04-171748 阅读0 评论

热文Hive安装配置篇（一）Hive3.1.3单机版安装教程

最近为了做DolphinScheduler的演示，因此需要一套大数据的环境，因此记录下这些大数据组件的安装。首先我们需要安装一个Hive的环境，这里我们使用的Hive版本是apache-hive-3.1.3，因此在1...

RaeHive系列2023-04-172121 阅读0 评论

热文Hbase安装配置篇（一）Hbase2.5.3单机版安装教程

最近为了做DolphinScheduler的演示，因此需要一套大数据的环境，因此记录下这些大数据组件的安装。首先我们需要安装一个hbase的环境，这里我们使用的hbase版本是hbase-2.5.3-hadoop3，...

RaeHbase系列2023-04-141516 阅读0 评论

热文Hadoop安装配置篇（一）Hadoop3.3.5单机版安装教程

最近为了做DolphinScheduler的演示，因此需要一套大数据的环境，因此记录下这些大数据组件的安装。首先我们需要安装一个hadoop的环境，这里我们使用的hadoop版本是3.3.5，因此在192.168.3...

Raehadoop系列2023-04-142386 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（四）配置datax的增量同步

上一篇文章《分布式调度系统Apache DolphinScheduler系列（三）配置datax的全量同步》我们配置了datax的全量同步，这里的话我们还可以配置增量同步，增量同步也满足很多的一些场景，例如数据仓库环...

RaeDolphin系列2023-04-142764 阅读0 评论