大数据实战系列(五)Spark 实现读取kafka数据写入doris 日常工作中直接读取kafka的数据写入doris也是一个非常常见的场景,下面演示下使用spark读取kafka的数据写入doris。直接上代码:val kafkaSource = spa... Rae spark项目实战 2024-03-28 447 阅读 0 评论
大数据实战系列(四)Spark 实现读取kafka数据写入hive 上文《大数据实战系列(三)Spark 实现读取hive数据写入kafka》我们实现了利用spark读取hive的数据写入kafka,本文的话我们实现利用spark读取kafka的数据然后写入hive中。直接上代码:v... Rae spark项目实战 2024-03-28 421 阅读 0 评论
大数据实战系列(三)Spark 实现读取hive数据写入kafka 本文的话,我们再介绍下使用使用spark实现读取hive的数据,然后把数据写入到kafka,直接上代码: val spark = SparkSession.builder()... Rae spark项目实战 2024-03-28 727 阅读 0 评论
大数据实战系列(二)Spark 实现读取hive数据写入doris 上文《大数据实战系列(一)Spark 实现读取doris数据写入hive》我们实现了使用spark读取doris数据然后写入hive,这里的话我们来实现读取hive数据,写入doris。直接上代码: val... Rae spark项目实战 2024-03-28 462 阅读 0 评论
大数据实战系列(一)Spark 实现读取doris数据写入hive 这个系列的话我们主要是记录一些实战的代码,方便大家在使用的时候实现直接照抄即可。本文主要介绍的是使用Spark实现读取doris数据并且写入hive的案例,直接上代码://初始化spark envval... Rae spark项目实战 2024-03-28 570 阅读 0 评论
spark安装配置篇(一)spark-3.4.0单机版安装教程 在dolphinscheduler系列里面我们还有一个常用的没有介绍到的就是spark了,这篇文章我们介绍下spark的单机版本安装。下面直接开始。一、下载spark最新版本要想安装spark,我们首先需要去下载一个... Rae spark系列 2023-04-24 948 阅读 0 评论
Spark系列(五十五)Spark Structured Streaming流处理的水印介绍 在使用spark流处理的时候,我们会经常涉及到时间窗口函数,但是由于生产环境中消息队列或者其他的数据源他不总是及时到达这条数据,举个例子:有一条10点10分产生的数据,他被及时的放入到了kafka里面,但是由于消费者... Rae spark系列 2022-12-15 474 阅读 0 评论
Spark案例介绍(六)spark structured streaming配合kafka实现滚动窗口数据统计 在生活中我们经常会遇到比如在每隔5分钟,统计用户的下单次数,每隔1分钟,统计下股票的涨跌数据等等,这种就是时间窗口相关的应用场景,在实际的工作中我们遇到的比比皆是,因此这篇文章我们主要给大家演示下使用spark st... Rae spark项目实战 2022-12-15 480 阅读 0 评论
Spark案例介绍(五)使用spark structured streaming实现kafka的读写数据 这篇文章我们完整的演示一下,利用spark structured streaming编写spark的流处理,从kafka里面消费json,然后把json转换成对象,再利用spark sql进行查询或者join等,计算... Rae spark项目实战 2022-12-14 598 阅读 0 评论
Spark系列(五十四)Spark Structured Streaming的sink介绍 在spark中,进行流处理的方式无外乎就是数据输入源,数据转换,数据写出这3个大的步骤,根据前面的文章知识点,这里的数据输入源在前面我们演示过了kafka,数据转换其实就是各种dataframe的操作,只有最后一个数... Rae spark系列 2022-12-14 715 阅读 0 评论