分布式调度系统Apache DolphinScheduler系列(十二)datax增量同步数据的实用方式 在前面的文章《分布式调度系统Apache DolphinScheduler系列(四)配置datax的增量同步》我们已经介绍过了datax中使用增量同步,但是这里的增量同步会涉及到一些数据问题,因为他只能通过全局设置的... Rae /Dolphin系列 /2023-07-04 /0 评论 /459 阅读
热文分布式调度系统Apache DolphinScheduler系列(十一)使用DolphinScheduler执行spark job任务 在DolphinScheduler中,我们还会涉及到经常使用到的一种任务类型,就是运行spark的任务,这篇文章我们介绍下使用DolphinScheduler配置下spark的对应任务。下面直接开始。一、首先需要部署... Rae /Dolphin系列 /2023-04-25 /0 评论 /1026 阅读
热文分布式调度系统Apache DolphinScheduler系列(十)使用DolphinScheduler执行flink sql任务 在DolphinScheduler的flink组件中,除了执行常规的batch和stream项目,这里还可以直接配置flink sql。如果配置flink sql的话,这里执行的是sql-client.sh的执行方式... Rae /Dolphin系列 /2023-04-20 /0 评论 /1116 阅读
热文分布式调度系统Apache DolphinScheduler系列(九)使用DolphinScheduler执行flink job任务 上一篇文章《分布式调度系统Apache DolphinScheduler系列(八)使用DolphinScheduler执行hive cli》我们介绍了在DolphinScheduler上配置hive cli,这篇文章... Rae /Dolphin系列 /2023-04-19 /0 评论 /1010 阅读
分布式调度系统Apache DolphinScheduler系列(八)使用DolphinScheduler执行hive cli 上一篇文章《分布式调度系统Apache DolphinScheduler系列(七)使用DolphinScheduler执行hive sql》我们介绍了使用sql的方式执行hive相关的sql,但是这个hive sql... Rae /Dolphin系列 /2023-04-18 /0 评论 /564 阅读
分布式调度系统Apache DolphinScheduler系列(七)使用DolphinScheduler执行hive sql 这篇文章我们介绍下使用DolphinScheduler来运行hive的sql,这样子很多定时任务等等都可以在这里运行起来。下面直接开始。一、创建一个dolphinscheduler的租户在hive的安装文章里面《Hi... Rae /Dolphin系列 /2023-04-18 /0 评论 /473 阅读
分布式调度系统Apache DolphinScheduler系列(六)使用DolphinScheduler执行mapreduce任务 上一篇文章《分布式调度系统Apache DolphinScheduler系列(五)配置资源管理的文件存储》我们介绍了文件存储的配置,这篇文章我们演示下把mapreduce的job任务提交到DolphinSchedul... Rae /Dolphin系列 /2023-04-18 /0 评论 /592 阅读
分布式调度系统Apache DolphinScheduler系列(五)配置资源管理的文件存储 承接上一篇《分布式调度系统Apache DolphinScheduler系列(四)配置datax的增量同步》,这篇文章我们介绍下在DolphinScheduler上配置文件存储。还记得在DolphinSchedule... Rae /Dolphin系列 /2023-04-17 /0 评论 /930 阅读
分布式调度系统Apache DolphinScheduler系列(四)配置datax的增量同步 上一篇文章《分布式调度系统Apache DolphinScheduler系列(三)配置datax的全量同步》我们配置了datax的全量同步,这里的话我们还可以配置增量同步,增量同步也满足很多的一些场景,例如数据仓库环... Rae /Dolphin系列 /2023-04-14 /0 评论 /814 阅读
分布式调度系统Apache DolphinScheduler系列(三)配置datax的全量同步 上一篇文章《分布式调度系统Apache DolphinScheduler系列(二)DolphinScheduler伪集群安装》我们搭建了一个Apache DolphinScheduler伪集群,这里我们来实战一下,配... Rae /Dolphin系列 /2023-04-06 /0 评论 /858 阅读