SparkStructuredStreaming

Spark系列（五十五）Spark Structured Streaming流处理的水印介绍

在使用spark流处理的时候，我们会经常涉及到时间窗口函数，但是由于生产环境中消息队列或者其他的数据源他不总是及时到达这条数据，举个例子：有一条10点10分产生的数据，他被及时的放入到了kafka里面，但是由于消费者...

Rae /spark系列 /2022-12-15 /0 评论 /87 阅读

在生活中我们经常会遇到比如在每隔5分钟，统计用户的下单次数，每隔1分钟，统计下股票的涨跌数据等等，这种就是时间窗口相关的应用场景，在实际的工作中我们遇到的比比皆是，因此这篇文章我们主要给大家演示下使用spark st...

Rae /spark项目实战 /2022-12-15 /0 评论 /66 阅读

这篇文章我们完整的演示一下，利用spark structured streaming编写spark的流处理，从kafka里面消费json，然后把json转换成对象，再利用spark sql进行查询或者join等，计算...

Rae /spark项目实战 /2022-12-14 /0 评论 /87 阅读

在spark中，进行流处理的方式无外乎就是数据输入源，数据转换，数据写出这3个大的步骤，根据前面的文章知识点，这里的数据输入源在前面我们演示过了kafka，数据转换其实就是各种dataframe的操作，只有最后一个数...

Rae /spark系列 /2022-12-14 /0 评论 /106 阅读

在前面我们演示了spark streaming的介绍，同时我们也提到过在spark2.x的部分里面提供了全新的结构化流处理也就是这里的spark structured streaming。这两个都是spark的流处理...

Rae /spark系列 /2022-12-14 /0 评论 /61 阅读

首先我们上一张spark的技术栈框架图结合上面的图，这篇文章我们主要介绍spark的spark Structured Streaming技术栈。这里可能大家会问，在图中没有看到spark Structured Str...

Rae /spark系列 /2022-11-27 /0 评论 /60 阅读