Flink应用开发系列(四十三)Table API&SQL时区 在Flink的Table API&SQLk开发的时候,我们我们了解到数据都是做成了table,然后使用sql的形式去对数据进行处理。这里我们回忆一下,使用传统的mysql的时候,我们jdbc里面是不是要传入一个时区?... Raeflink系列2023-08-18940 阅读0 评论
Flink应用开发系列(四十二)Table API&SQL支持的数据类型 在flink的table api&sql应用程序开发中,我们知道是吧所有的数据结构抽象成了一张表table,然后使用sql的语法对数据进行处理。那么既然是sql的语法,那么整个数据结构就会有一些基本的数据类型的支持,... Raeflink系列2023-08-18756 阅读0 评论
Flink应用开发系列(四十一)Table SQL案例 前一篇文章《Flink应用开发系列(四十)Table API案例》我们介绍了table api相关的案例,这里的话我们使用flink自带的datagen工具来演示下table sql的案例,下面直接上代码:packa... Raeflink系列2023-08-17866 阅读0 评论
热文Flink应用开发系列(四十)Table API案例 上文《Flink应用开发系列(三十九)Table API & SQL介绍》我们介绍了一下Flink中Table API和Sql的基本概念,本文的话,我们用代码来演示一下Table API开发的相关案例,直接来上代码:... Raeflink系列2023-08-171014 阅读0 评论
Flink应用开发系列(三十九)Table API & SQL介绍 在flink 应用程序中还有一个比较大的模块,也就是Table API & SQL模块,这个模块对于我们在实际的开发过程中来说,使用频率非常高,特别是配合Dinky 使用可以在实际的开发中极大的增加我们的开发效率。这... Raeflink系列2023-08-17932 阅读0 评论
热文Flink应用开发系列(三十八)DataStream开发之参数读取工具类 对于有大数据开发经验的同学,应该知道,我们经常会涉及到在运行job的时候,我们可能会从命令行手动传递参数,同时也可能使用某个外部的配置文件配置参数,然后在job任务中进行数据读取。在flink中,我们经常使用到的参数... Raeflink系列2023-08-161055 阅读0 评论
热文Flink应用开发系列(三十七)DataStream开发之异步I/O 我们在使用flink 开发应用程序的时候,有时候会涉及到这样的一些应用场景:假设从mq中获取到的数据里面只有用户id,没有用户的其他信息,但是我们的目的需要分析当前人的个人画像,那这个时候怎么办呢?看上面的需求,我们... Raeflink系列2023-08-161090 阅读0 评论
Flink应用开发系列(三十六)DataStream开发之Watermark水位线实战 上文《Flink应用开发系列(三十五)DataStream开发之Watermark介绍》我们对水位线做了一下基础的介绍,下面我们来实现一下水位线的案例。这里我们还是以用户登录日志监控背景为需求点来实现整个代码,详细步... Raeflink系列2023-08-16962 阅读0 评论
Flink应用开发系列(三十五)DataStream开发之Watermark介绍 上一篇文章《Flink应用开发系列(三十四)DataStream开发之时间窗口》我们介绍了基于时间窗口的方式来处理数据,同时我们也涉及到介绍了在用户登录的时候进行风控检测事件。我们来回忆一下具体的用户登录风控检测事件... Raeflink系列2023-08-16870 阅读0 评论
热文Flink应用开发系列(三十四)DataStream开发之时间窗口 在实际的业务场景开发中,我们经常会涉及到这样的一些业务,例如风控系统的需求:某个用户在5分钟之内登录失败超过3次,那么就要进行预警与账号封禁这个需求就是只统计以5分钟为单位的一段时间内的数据,所以整个时间是一段一段的... Raeflink系列2023-08-151006 阅读0 评论
热文Flink应用开发系列(三十三)DataStream开发之设置流/批模式运行 在flink中,我们之前介绍过Dataset是一种批模式,但是在官方的flink api文档里面可以看到dataset已经在1.17版本的时候过时了,在flink的1.18版本中,已经没有dtaaset的单独模块介绍... Raeflink系列2023-08-151087 阅读0 评论
热文Flink应用开发系列(三十二)DataStream开发之控制延迟缓冲区 在flink datastream 应用程序开发中,我们知道这里的source数据是从外部读取到的。这里我们回想一下kafka的客户端,我们在使用kafka客户端的时候,会发现,当我们push数据的时候,数据首先被推... Raeflink系列2023-08-151071 阅读0 评论
热文Flink应用开发系列(三十一)DataStream开发之checkpoint 在flink datastream api的应用程序开发中,我们必然会使用到检查点,也就是checkpoint,在flink datastream应用程序开发中,checkpoint是默认关闭的,在准备运行到生产环境... Raeflink系列2023-08-151147 阅读0 评论
热文Flink应用开发系列(三十)DataStream开发之迭代Iterations 在前面我们介绍过flink的transformation算子中有一个iterate函数。这是一个迭代,就是把一个数据源输出到另一个数据源中,形成一个反复的循环。所以本文的话,我们来演示一下这个循环是怎么使用的。本文的... Raeflink系列2023-08-151058 阅读0 评论
热文Flink应用开发系列(二十九)DataStream开发之自定义sink 在本站之前的文章也介绍过相关的自定义sink,可参考《Flink学习系列(七)自定义实现一个flink的mysqlsink》。在实际使用过程中,我们只需要调用addsink方法把定义的sink添加进来即可。... Raeflink系列2023-08-151027 阅读0 评论