热文分布式调度系统Apache DolphinScheduler系列(十一)使用DolphinScheduler执行spark job任务
在DolphinScheduler中,我们还会涉及到经常使用到的一种任务类型,就是运行spark的任务,这篇文章我们介绍下使用DolphinScheduler配置下spark的对应任务。下面直接开始。一、首先需要部署...
在DolphinScheduler中,我们还会涉及到经常使用到的一种任务类型,就是运行spark的任务,这篇文章我们介绍下使用DolphinScheduler配置下spark的对应任务。下面直接开始。一、首先需要部署...
在dolphinscheduler系列里面我们还有一个常用的没有介绍到的就是spark了,这篇文章我们介绍下spark的单机版本安装。下面直接开始。一、下载spark最新版本要想安装spark,我们首先需要去下载一个...
上两篇文章我们分别介绍了微服务中基于nacos做灰度测试/发布的样例,这篇文章我们介绍下request的header透传。首先我们想象一下这样一个场景:像上图中,我们整个微服务链路非常长,因此这里的恶化,我们可能会在...
在上一篇文章《Spring Cloud微服务项目模板系列(六)微服务灰度测试/发布》我们介绍了通过配置ribbon来进行灰度发布的实施,主要的流程是通过gateway来进行判断。在实际业务中,可能会涉及到微服务链路很...
在微服务里面,我们一般编写完成之后都是统一打包测试的,但是我们真实的Toc环境中,这里我们上线的每一个服务都可能涉及到使用灰度测试/发布来逐渐迁移线上的流量,因此这里的话我们介绍下在微服务中如何做灰度测试/发布来进行...
在websocket中,服务端主要使用的是session打交道,但是由于session无法实现序列化,不能存储到redis这些中间存储里面,因此这里我们只能把session存储在本地的内存中,那么如果是集群的话,我们...
上一篇文章我们演示了使用springboot构建一个websocket服务端的案例,我们在代码里面使用到了SocketServerProduct这个类,这个类我们在springboot中习惯使用@Autowired这...
在前面的文章:《Springboot项目开发websocket服务端》我们演示过使用springboot来构建websocket,但是那种方式是使用的传统的方式,这篇文章我们介绍下使用springboot自带的@Se...
在DolphinScheduler的flink组件中,除了执行常规的batch和stream项目,这里还可以直接配置flink sql。如果配置flink sql的话,这里执行的是sql-client.sh的执行方式...
上一篇文章《分布式调度系统Apache DolphinScheduler系列(八)使用DolphinScheduler执行hive cli》我们介绍了在DolphinScheduler上配置hive cli,这篇文章...
上一篇文章《分布式调度系统Apache DolphinScheduler系列(七)使用DolphinScheduler执行hive sql》我们介绍了使用sql的方式执行hive相关的sql,但是这个hive sql...
这篇文章我们介绍下使用DolphinScheduler来运行hive的sql,这样子很多定时任务等等都可以在这里运行起来。下面直接开始。一、创建一个dolphinscheduler的租户在hive的安装文章里面《Hi...
上一篇文章《Hive安装配置篇(一)Hive3.1.3单机版安装教程》我们介绍了hive的基本安装,在使用hive的时候,我们经常会使用java的jdbc进行连接,因此这篇文章我们介绍下为hive的jdbc连接配置用...
在hadoop集群里面,我们一般会使用yarn做资源管理器,所以这里的话,我们需要为hadoop集群配置调度器,在hadoop上,有三种调度器,分别是:FIFO 先进先出调度器 Capacity 容量调度器 Fair...
上一篇文章《分布式调度系统Apache DolphinScheduler系列(五)配置资源管理的文件存储》我们介绍了文件存储的配置,这篇文章我们演示下把mapreduce的job任务提交到DolphinSchedul...