Flink应用开发系列（三十八）DataStream开发之参数读取工具类 对于有大数据开发经验的同学，应该知道，我们经常会涉及到在运行job的时候，我们可能会从命令行手动传递参数，同时也可能使用某个外部的配置文件配置参数，然后在job任务中进行数据读取。在flink中，我们经常使用到的参数... Raeflink系列2023-08-16606 阅读0 评论
Flink应用开发系列（三十七）DataStream开发之异步I/O 我们在使用flink 开发应用程序的时候，有时候会涉及到这样的一些应用场景：假设从mq中获取到的数据里面只有用户id，没有用户的其他信息，但是我们的目的需要分析当前人的个人画像，那这个时候怎么办呢？看上面的需求，我们... Raeflink系列2023-08-16588 阅读0 评论
Flink应用开发系列（三十六）DataStream开发之Watermark水位线实战 上文《Flink应用开发系列（三十五）DataStream开发之Watermark介绍》我们对水位线做了一下基础的介绍，下面我们来实现一下水位线的案例。这里我们还是以用户登录日志监控背景为需求点来实现整个代码，详细步... Raeflink系列2023-08-16548 阅读0 评论
Flink应用开发系列（三十四）DataStream开发之时间窗口 在实际的业务场景开发中，我们经常会涉及到这样的一些业务，例如风控系统的需求：某个用户在5分钟之内登录失败超过3次，那么就要进行预警与账号封禁这个需求就是只统计以5分钟为单位的一段时间内的数据，所以整个时间是一段一段的... Raeflink系列2023-08-15621 阅读0 评论
Flink应用开发系列（三十三）DataStream开发之设置流/批模式运行 在flink中，我们之前介绍过Dataset是一种批模式，但是在官方的flink api文档里面可以看到dataset已经在1.17版本的时候过时了，在flink的1.18版本中，已经没有dtaaset的单独模块介绍... Raeflink系列2023-08-15575 阅读0 评论
Flink应用开发系列（三十二）DataStream开发之控制延迟缓冲区 在flink datastream 应用程序开发中，我们知道这里的source数据是从外部读取到的。这里我们回想一下kafka的客户端，我们在使用kafka客户端的时候，会发现，当我们push数据的时候，数据首先被推... Raeflink系列2023-08-15594 阅读0 评论
Flink应用开发系列（三十一）DataStream开发之checkpoint 在flink datastream api的应用程序开发中，我们必然会使用到检查点，也就是checkpoint，在flink datastream应用程序开发中，checkpoint是默认关闭的，在准备运行到生产环境... Raeflink系列2023-08-15632 阅读0 评论
Flink应用开发系列（三十）DataStream开发之迭代Iterations 在前面我们介绍过flink的transformation算子中有一个iterate函数。这是一个迭代，就是把一个数据源输出到另一个数据源中，形成一个反复的循环。所以本文的话，我们来演示一下这个循环是怎么使用的。本文的... Raeflink系列2023-08-15624 阅读0 评论
Flink应用开发系列（二十九）DataStream开发之自定义sink 在本站之前的文章也介绍过相关的自定义sink，可参考《Flink学习系列（七）自定义实现一个flink的mysqlsink》。在实际使用过程中，我们只需要调用addsink方法把定义的sink添加进来即可。... Raeflink系列2023-08-15638 阅读0 评论
Flink应用开发系列（二十八）DataStream开发之系统自带的sink 在datastream api的应用程序开发中，除了系统自带的source之外，系统还自带一些sink，本文的话，我们就介绍下系统自带的sink。1）writeAsText() 将元素以字符串的形式写入文本... Raeflink系列2023-08-15499 阅读0 评论
Flink应用开发系列（二十七）DataStream开发之Transformation算子 在前面我们介绍过Flink Datastream api开发中主要的三个基本组成：sourceetlsink这里的etl就是指对数据的处理，我们需要依靠flink api里面的Transformation算子... Raeflink系列2023-08-15522 阅读0 评论
Flink应用开发系列（二十六）DataStream开发之自定义source 在flink datastream中进行应用开发的时候，除了使用系统自带的source之外，我们还可以自定义source，然后使用StreamExecutionEnvironment.addSource(source... Raeflink系列2023-08-15418 阅读0 评论
Flink应用开发系列（二十五）DataStream开发之系统自带的source 在flink DataStream应用开发中，source是咱们程序读取数据的地方。在flink 自带的api里面，提供了一些自带的source，我们可以很方便的使用，下面我们介绍下flink应用程序自带的sourc... Raeflink系列2023-08-15600 阅读0 评论
Flink应用开发系列（二十四）DataStream开发之wordcount 前面的文章《Flink应用开发系列（二十三）DataStream概念介绍》我们对DataStream做了一个基础的介绍，对于整个开发来说，我们首先还是介绍一个wordcount，来看看整个flink DataStre... Raeflink系列2023-08-14571 阅读0 评论
Flink应用开发系列（二十三）DataStream概念介绍 前面的文章我们大致的介绍完了flink中关于Dataset部分的应用开发知识点，从本文开始我们来介绍下Flink的DataStream相关的内容。DataStream API在flink应用开发中属于一种流式处理，他... Raeflink系列2023-08-14558 阅读0 评论
