Flink应用开发系列(三十四)DataStream开发之时间窗口 在实际的业务场景开发中,我们经常会涉及到这样的一些业务,例如风控系统的需求:某个用户在5分钟之内登录失败超过3次,那么就要进行预警与账号封禁这个需求就是只统计以5分钟为单位的一段时间内的数据,所以整个时间是一段一段的... Rae /flink系列 /2023-08-15 /0 评论 /349 阅读
Flink应用开发系列(三十三)DataStream开发之设置流/批模式运行 在flink中,我们之前介绍过Dataset是一种批模式,但是在官方的flink api文档里面可以看到dataset已经在1.17版本的时候过时了,在flink的1.18版本中,已经没有dtaaset的单独模块介绍... Rae /flink系列 /2023-08-15 /0 评论 /300 阅读
Flink应用开发系列(三十二)DataStream开发之控制延迟缓冲区 在flink datastream 应用程序开发中,我们知道这里的source数据是从外部读取到的。这里我们回想一下kafka的客户端,我们在使用kafka客户端的时候,会发现,当我们push数据的时候,数据首先被推... Rae /flink系列 /2023-08-15 /0 评论 /280 阅读
Flink应用开发系列(三十一)DataStream开发之checkpoint 在flink datastream api的应用程序开发中,我们必然会使用到检查点,也就是checkpoint,在flink datastream应用程序开发中,checkpoint是默认关闭的,在准备运行到生产环境... Rae /flink系列 /2023-08-15 /0 评论 /348 阅读
Flink应用开发系列(三十)DataStream开发之迭代Iterations 在前面我们介绍过flink的transformation算子中有一个iterate函数。这是一个迭代,就是把一个数据源输出到另一个数据源中,形成一个反复的循环。所以本文的话,我们来演示一下这个循环是怎么使用的。本文的... Rae /flink系列 /2023-08-15 /0 评论 /382 阅读
Flink应用开发系列(二十九)DataStream开发之自定义sink 在本站之前的文章也介绍过相关的自定义sink,可参考《Flink学习系列(七)自定义实现一个flink的mysqlsink》。在实际使用过程中,我们只需要调用addsink方法把定义的sink添加进来即可。... Rae /flink系列 /2023-08-15 /0 评论 /367 阅读
Flink应用开发系列(二十八)DataStream开发之系统自带的sink 在datastream api的应用程序开发中,除了系统自带的source之外,系统还自带一些sink,本文的话,我们就介绍下系统自带的sink。1)writeAsText() 将元素以字符串的形式写入文本... Rae /flink系列 /2023-08-15 /0 评论 /314 阅读
Flink应用开发系列(二十七)DataStream开发之Transformation算子 在前面我们介绍过Flink Datastream api开发中主要的三个基本组成:sourceetlsink这里的etl就是指对数据的处理,我们需要依靠flink api里面的Transformation算子... Rae /flink系列 /2023-08-15 /0 评论 /245 阅读
Flink应用开发系列(二十六)DataStream开发之自定义source 在flink datastream中进行应用开发的时候,除了使用系统自带的source之外,我们还可以自定义source,然后使用StreamExecutionEnvironment.addSource(source... Rae /flink系列 /2023-08-15 /0 评论 /255 阅读
Flink应用开发系列(二十五)DataStream开发之系统自带的source 在flink DataStream应用开发中,source是咱们程序读取数据的地方。在flink 自带的api里面,提供了一些自带的source,我们可以很方便的使用,下面我们介绍下flink应用程序自带的sourc... Rae /flink系列 /2023-08-15 /0 评论 /323 阅读