spark系列

大数据实战系列（五）Spark 实现读取kafka数据写入doris

日常工作中直接读取kafka的数据写入doris也是一个非常常见的场景，下面演示下使用spark读取kafka的数据写入doris。直接上代码：val kafkaSource = spark .readStream ...

Raespark项目实战2024-03-28902 阅读0 评论

大数据实战系列（四）Spark 实现读取kafka数据写入hive

上文《大数据实战系列（三）Spark 实现读取hive数据写入kafka》我们实现了利用spark读取hive的数据写入kafka，本文的话我们实现利用spark读取kafka的数据然后写入hive中。直接上代码：v...

Raespark项目实战2024-03-28888 阅读0 评论

热文大数据实战系列（三）Spark 实现读取hive数据写入kafka

本文的话，我们再介绍下使用使用spark实现读取hive的数据，然后把数据写入到kafka，直接上代码： val spark = SparkSession.builder() .appName("HiveToKafk...

Raespark项目实战2024-03-281298 阅读0 评论

大数据实战系列（二）Spark 实现读取hive数据写入doris

上文《大数据实战系列（一）Spark 实现读取doris数据写入hive》我们实现了使用spark读取doris数据然后写入hive，这里的话我们来实现读取hive数据，写入doris。直接上代码： val spar...

Raespark项目实战2024-03-28937 阅读0 评论

热文大数据实战系列（一）Spark 实现读取doris数据写入hive

这个系列的话我们主要是记录一些实战的代码，方便大家在使用的时候实现直接照抄即可。本文主要介绍的是使用Spark实现读取doris数据并且写入hive的案例，直接上代码：//初始化spark env val spark...

Raespark项目实战2024-03-281201 阅读0 评论

热文spark安装配置篇（一）spark-3.4.0单机版安装教程

在dolphinscheduler系列里面我们还有一个常用的没有介绍到的就是spark了，这篇文章我们介绍下spark的单机版本安装。下面直接开始。一、下载spark最新版本要想安装spark，我们首先需要去下载一个...

Raespark系列2023-04-241431 阅读0 评论

Spark系列（五十五）Spark Structured Streaming流处理的水印介绍

在使用spark流处理的时候，我们会经常涉及到时间窗口函数，但是由于生产环境中消息队列或者其他的数据源他不总是及时到达这条数据，举个例子：有一条10点10分产生的数据，他被及时的放入到了kafka里面，但是由于消费者...

Raespark系列2022-12-15698 阅读0 评论

Spark案例介绍（六）spark structured streaming配合kafka实现滚动窗口数据统计

在生活中我们经常会遇到比如在每隔5分钟，统计用户的下单次数，每隔1分钟，统计下股票的涨跌数据等等，这种就是时间窗口相关的应用场景，在实际的工作中我们遇到的比比皆是，因此这篇文章我们主要给大家演示下使用spark st...

Raespark项目实战2022-12-15736 阅读0 评论

Spark案例介绍（五）使用spark structured streaming实现kafka的读写数据

这篇文章我们完整的演示一下，利用spark structured streaming编写spark的流处理，从kafka里面消费json，然后把json转换成对象，再利用spark sql进行查询或者join等，计算...

Raespark项目实战2022-12-14856 阅读0 评论

热文Spark系列（五十四）Spark Structured Streaming的sink介绍

在spark中，进行流处理的方式无外乎就是数据输入源，数据转换，数据写出这3个大的步骤，根据前面的文章知识点，这里的数据输入源在前面我们演示过了kafka，数据转换其实就是各种dataframe的操作，只有最后一个数...

Raespark系列2022-12-141000 阅读0 评论

Spark系列（五十三）Spark Structured Streaming对接kafka的配置参数

在上一个案例里面我们演示了使用spark structured streaming对接kafka的数据，但是在代码里面编写比较简单，这里我们完整的列举下使用到的kafka信息参数。一、必选参数：序号参数值说明1kaf...

Raespark系列2022-12-14570 阅读0 评论

Spark系列（五十二）Spark Structured Streaming介绍

在前面我们演示了spark streaming的介绍，同时我们也提到过在spark2.x的部分里面提供了全新的结构化流处理也就是这里的spark structured streaming。这两个都是spark的流处理...

Raespark系列2022-12-14529 阅读0 评论

Spark系列（五十一）Spark Streaming介绍

在spark中，除了提供批处理（前面的文章主要是基于批处理来介绍的），还提供有流处理的方法，也就是我们可以从消息队列等场景里面源源不断的获取数据回来进行处理，此时spark的应用程序就成为了一个常驻进程，只要有数据流...

Raespark系列2022-12-14595 阅读0 评论

Spark系列（五十）Spark sql应用程序调优涉及的参数信息

在前面的文章我们介绍了很多spark sql相关的内容，这篇文章列举下在使用spark sql编写应用程序的时候，会涉及到的一些调优参数。在实际开发中这些参数的设置根据实际的情况设定即可。序号参数默认值说明1spar...

Raespark系列2022-12-14877 阅读0 评论

Spark系列（四十九）Spark sql中join连接

在spark sql中，我们还会经常遇到join的使用。例如把两个表进行合并或者筛选结果等场景。在spark中使用join和在数据库中使用join差别不大。下面先介绍下spark sql中支持哪些join。序号类型描...

Raespark系列2022-12-13660 阅读0 评论