Flink应用开发系列(四十三)Table API&SQL时区 在Flink的Table API&SQLk开发的时候,我们我们了解到数据都是做成了table,然后使用sql的形式去对数据进行处理。这里我们回忆一下,使用传统的mysql的时候,我们jdbc里面是不是要传入一... Rae /flink系列 /2023-08-18 /0 评论 /307 阅读
Flink应用开发系列(四十二)Table API&SQL支持的数据类型 在flink的table api&sql应用程序开发中,我们知道是吧所有的数据结构抽象成了一张表table,然后使用sql的语法对数据进行处理。那么既然是sql的语法,那么整个数据结构就会有一些基本的数据类型... Rae /flink系列 /2023-08-18 /0 评论 /313 阅读
Flink应用开发系列(四十一)Table SQL案例 前一篇文章《Flink应用开发系列(四十)Table API案例》我们介绍了table api相关的案例,这里的话我们使用flink自带的datagen工具来演示下table sql的案例,下面直接上代码:packa... Rae /flink系列 /2023-08-17 /0 评论 /346 阅读
Flink应用开发系列(四十)Table API案例 上文《Flink应用开发系列(三十九)Table API & SQL介绍》我们介绍了一下Flink中Table API和Sql的基本概念,本文的话,我们用代码来演示一下Table API开发的相关案例,直接来... Rae /flink系列 /2023-08-17 /0 评论 /401 阅读
Flink应用开发系列(三十九)Table API & SQL介绍 在flink 应用程序中还有一个比较大的模块,也就是Table API & SQL模块,这个模块对于我们在实际的开发过程中来说,使用频率非常高,特别是配合Dinky 使用可以在实际的开发中极大的增加我们的开发... Rae /flink系列 /2023-08-17 /0 评论 /389 阅读
Flink应用开发系列(三十八)DataStream开发之参数读取工具类 对于有大数据开发经验的同学,应该知道,我们经常会涉及到在运行job的时候,我们可能会从命令行手动传递参数,同时也可能使用某个外部的配置文件配置参数,然后在job任务中进行数据读取。在flink中,我们经常使用到的参数... Rae /flink系列 /2023-08-16 /0 评论 /337 阅读
Flink应用开发系列(三十七)DataStream开发之异步I/O 我们在使用flink 开发应用程序的时候,有时候会涉及到这样的一些应用场景:假设从mq中获取到的数据里面只有用户id,没有用户的其他信息,但是我们的目的需要分析当前人的个人画像,那这个时候怎么办呢?看上面的需求,我们... Rae /flink系列 /2023-08-16 /0 评论 /328 阅读
Flink应用开发系列(三十六)DataStream开发之Watermark水位线实战 上文《Flink应用开发系列(三十五)DataStream开发之Watermark介绍》我们对水位线做了一下基础的介绍,下面我们来实现一下水位线的案例。这里我们还是以用户登录日志监控背景为需求点来实现整个代码,详细步... Rae /flink系列 /2023-08-16 /0 评论 /328 阅读
Flink应用开发系列(三十五)DataStream开发之Watermark介绍 上一篇文章《Flink应用开发系列(三十四)DataStream开发之时间窗口》我们介绍了基于时间窗口的方式来处理数据,同时我们也涉及到介绍了在用户登录的时候进行风控检测事件。我们来回忆一下具体的用户登录风控检测事件... Rae /flink系列 /2023-08-16 /0 评论 /336 阅读
Flink应用开发系列(三十四)DataStream开发之时间窗口 在实际的业务场景开发中,我们经常会涉及到这样的一些业务,例如风控系统的需求:某个用户在5分钟之内登录失败超过3次,那么就要进行预警与账号封禁这个需求就是只统计以5分钟为单位的一段时间内的数据,所以整个时间是一段一段的... Rae /flink系列 /2023-08-15 /0 评论 /357 阅读