热文Flink流处理系列(七)使用flink的CEP复杂事件,实现用户登录的风控预警 这篇文章我们继续开启Flink流处理的实战环节,这篇文章我们利用Flink的CEP复杂事件来实现用户登录的风控预警。首先简要的介绍下CEP,CEP可以看做是flink中专门用于处理复杂事件的规则触发器,他的执行流程是... Raeflink系列2023-03-171555 阅读0 评论
热文Flink流处理系列(六)flink实现多数据源水位线的inner join 在前面的文章我们主要介绍了flink多数据源的时间窗口,然后对数据进行计算,但是试想一下,真实的生产环境中我们经常多数据源都是乱序的,所以此时我们多个数据源拿过来进行join的时候,由于数据处理的延迟,会导致如下情况... Raeflink系列2023-03-131451 阅读0 评论
热文Flink流处理系列(五)flink实现多数据源的inner join 上一篇文章《Flink流处理系列(四)flink读取多数据源》我们介绍了在flink流处理中实现多数据源的读取。在实际的场景业务中,一般我们多数据源把数据读取进来之后,肯定不是直接转存到其他地方这么简单,一般的应用场... Raeflink系列2023-03-021711 阅读0 评论
热文Flink流处理系列(四)flink读取多数据源 上一篇文章《Flink流处理系列(三)flink cdc读取mysql binlog》我们介绍了一下使用flink的cdc来读取mysql。这篇文章我们的案例代码还是在上一篇的基础上改动即可。在实际的业务中,我们经常... Raeflink系列2023-03-012198 阅读0 评论
热文Flink流处理系列(三)flink cdc读取mysql binlog 这是flink流处理的第三篇文章,咱们介绍下使用flink的cdc功能,读取mysql的binlog实现数据同步。下面直接实战演示下:一、安装mysql安装mysql的话,,这里选择5.7或者8.x的版本都可以,建议... Raeflink系列2023-03-013016 阅读0 评论
热文Flink流处理系列(二)standalone集群安装 上一篇我们介绍了flink流处理的第一个demo,即wordcount。同时我们也演示了把job任务提交到flink的standalone集群里面。这篇文章我们介绍下如何安装部署flink的standalone集群。... Raeflink系列2022-12-281687 阅读0 评论
热文Flink流处理系列(一)对接kafka演示Flink流处理的wordcount 在前面我们介绍了flink相关的知识点,从本文开始我们着重介绍下flink里面的流处理。因为在flink里面,他的流处理使用范围是最广的,主要是由于他相对于spark来说,这里的流处理是准实时的,可以实现毫秒级别处理... Raeflink系列2022-12-281193 阅读0 评论
Flink系列(二十七)flink的状态快照是什么 flink中的状态快照其实就是用于获取并存储分布式管道中整体的状态,将数据源中消费数据的偏移量记录下来,并将整个作业图中算子获取到该数据时的状态记录并存储下来。在发生故障时,Flink作业会恢复上次存储的状态,重置数... Raeflink系列2022-10-09980 阅读0 评论
Flink系列(二十六)Flink状态持久化之检查点 在flink中,Flink是使用流重放和检查点来实现容错的。本篇文章我们介绍下Flink的检查点。 Flink的检查点是标记每一个输入流中的特定点以及每个算子的对应状态。检查点的间隔设置为多少,是在执行期间的容错开销... Raeflink系列2022-10-09870 阅读0 评论
Flink系列(二十五)Flink窗口函数有哪些? 在flink中,当我们定义了窗口分配器智慧,我们就需要在每个窗口中进行计算操作。这里的计算操作就需要用到窗口函数。在flink的窗口处理事件里面还是还是挺多的,例如:ReduceFunction、AggregateF... Raeflink系列2022-10-09868 阅读0 评论
Flink系列(二十四)实战Flink会话窗口函数案例 前面我们介绍了时间窗口和计数窗口,这篇我们介绍下会话窗口。会话窗口可以简单的理解成,消费方直接对接数据源,如果数据源在超过设定的时间内没有接收到数据,则当前对话被销毁,当前的对话就是一个窗口。当老的会话窗口被销毁后,... Raeflink系列2022-10-08747 阅读0 评论
热文Flink系列(二十三)实战Flink滑动计数窗口函数案例 上一篇我们介绍了flink的滚动计数窗口函数,这篇文章我们介绍下Flink的滑动计数窗口函数案例。滑动技术窗口主要其实就是在滚动技术窗口的countWindow里面添加一个滑动大小的值,其他的都是一模一样的。我们直接... Raeflink系列2022-10-081318 阅读0 评论
Flink系列(二十二)实战Flink滚动计数窗口函数案例 在前面我们演示了一下时间窗口的函数,这篇我们介绍下flink的滚动技术窗口函数案例实战。在flink中实现滚动计数窗口最主要的函数就是 countWindow()方法。一、定义模拟一个数据源package com.f... Raeflink系列2022-10-08802 阅读0 评论
热文Flink系列(二十一)实战Flink滑动时间窗口函数案例 上一篇我们介绍了一下Flink的滚动时间窗口函数,这篇问我们介绍下滑动时间窗口函数。其实说到底,滚动时间窗口和滑动时间窗口是一样的,只是多了一个延迟时间。本篇的演示MySouce类和Splitter类是一样的,我们只... Raeflink系列2022-10-081107 阅读0 评论
Flink系列(二十)实战Flink滚动时间窗口函数案例 在前面我们介绍了很多flink的基础知识,这篇文章我们实战演示下flink的滚动时间窗口函数示例。时间窗口函数在我们的日常工作中使用场景是非常多的,例如:双十一的大盘,5分钟报数一次,股票的每分钟变化分析等。大家可以... Raeflink系列2022-10-08895 阅读0 评论