Flink应用开发系列(四十四)Table SQL开发之create table 在flink的Table API&SQL系列中,由于我们日常使用Table API这种面向对象的方式去操作数据还是比较少,大多数情况都是使用sql的方式去操作数据。因此关于table api部分的开发部分就省... Rae /flink系列 /2023-08-18 /0 评论 /401 阅读
Flink应用开发系列(四十三)Table API&SQL时区 在Flink的Table API&SQLk开发的时候,我们我们了解到数据都是做成了table,然后使用sql的形式去对数据进行处理。这里我们回忆一下,使用传统的mysql的时候,我们jdbc里面是不是要传入一... Rae /flink系列 /2023-08-18 /0 评论 /305 阅读
Flink应用开发系列(四十二)Table API&SQL支持的数据类型 在flink的table api&sql应用程序开发中,我们知道是吧所有的数据结构抽象成了一张表table,然后使用sql的语法对数据进行处理。那么既然是sql的语法,那么整个数据结构就会有一些基本的数据类型... Rae /flink系列 /2023-08-18 /0 评论 /313 阅读
Flink应用开发系列(四十一)Table SQL案例 前一篇文章《Flink应用开发系列(四十)Table API案例》我们介绍了table api相关的案例,这里的话我们使用flink自带的datagen工具来演示下table sql的案例,下面直接上代码:packa... Rae /flink系列 /2023-08-17 /0 评论 /345 阅读
Flink应用开发系列(四十)Table API案例 上文《Flink应用开发系列(三十九)Table API & SQL介绍》我们介绍了一下Flink中Table API和Sql的基本概念,本文的话,我们用代码来演示一下Table API开发的相关案例,直接来... Rae /flink系列 /2023-08-17 /0 评论 /401 阅读
Flink应用开发系列(三十九)Table API & SQL介绍 在flink 应用程序中还有一个比较大的模块,也就是Table API & SQL模块,这个模块对于我们在实际的开发过程中来说,使用频率非常高,特别是配合Dinky 使用可以在实际的开发中极大的增加我们的开发... Rae /flink系列 /2023-08-17 /0 评论 /389 阅读
Flink应用开发系列(三十八)DataStream开发之参数读取工具类 对于有大数据开发经验的同学,应该知道,我们经常会涉及到在运行job的时候,我们可能会从命令行手动传递参数,同时也可能使用某个外部的配置文件配置参数,然后在job任务中进行数据读取。在flink中,我们经常使用到的参数... Rae /flink系列 /2023-08-16 /0 评论 /336 阅读
Flink应用开发系列(三十七)DataStream开发之异步I/O 我们在使用flink 开发应用程序的时候,有时候会涉及到这样的一些应用场景:假设从mq中获取到的数据里面只有用户id,没有用户的其他信息,但是我们的目的需要分析当前人的个人画像,那这个时候怎么办呢?看上面的需求,我们... Rae /flink系列 /2023-08-16 /0 评论 /328 阅读
Flink应用开发系列(三十六)DataStream开发之Watermark水位线实战 上文《Flink应用开发系列(三十五)DataStream开发之Watermark介绍》我们对水位线做了一下基础的介绍,下面我们来实现一下水位线的案例。这里我们还是以用户登录日志监控背景为需求点来实现整个代码,详细步... Rae /flink系列 /2023-08-16 /0 评论 /328 阅读
Flink应用开发系列(三十五)DataStream开发之Watermark介绍 上一篇文章《Flink应用开发系列(三十四)DataStream开发之时间窗口》我们介绍了基于时间窗口的方式来处理数据,同时我们也涉及到介绍了在用户登录的时候进行风控检测事件。我们来回忆一下具体的用户登录风控检测事件... Rae /flink系列 /2023-08-16 /0 评论 /336 阅读