Flink系列(二十七)flink的状态快照是什么 flink中的状态快照其实就是用于获取并存储分布式管道中整体的状态,将数据源中消费数据的偏移量记录下来,并将整个作业图中算子获取到该数据时的状态记录并存储下来。在发生故障时,Flink作业会恢复上次存储的状态,重置数... Raeflink系列2022-10-09963 阅读0 评论
Flink系列(二十六)Flink状态持久化之检查点 在flink中,Flink是使用流重放和检查点来实现容错的。本篇文章我们介绍下Flink的检查点。 Flink的检查点是标记每一个输入流中的特定点以及每个算子的对应状态。检查点的间隔设置为多少,是在执行期间的容错开销... Raeflink系列2022-10-09855 阅读0 评论
Flink系列(二十五)Flink窗口函数有哪些? 在flink中,当我们定义了窗口分配器智慧,我们就需要在每个窗口中进行计算操作。这里的计算操作就需要用到窗口函数。在flink的窗口处理事件里面还是还是挺多的,例如:ReduceFunction、AggregateF... Raeflink系列2022-10-09864 阅读0 评论
Flink系列(二十四)实战Flink会话窗口函数案例 前面我们介绍了时间窗口和计数窗口,这篇我们介绍下会话窗口。会话窗口可以简单的理解成,消费方直接对接数据源,如果数据源在超过设定的时间内没有接收到数据,则当前对话被销毁,当前的对话就是一个窗口。当老的会话窗口被销毁后,... Raeflink系列2022-10-08742 阅读0 评论
热文Flink系列(二十三)实战Flink滑动计数窗口函数案例 上一篇我们介绍了flink的滚动计数窗口函数,这篇文章我们介绍下Flink的滑动计数窗口函数案例。滑动技术窗口主要其实就是在滚动技术窗口的countWindow里面添加一个滑动大小的值,其他的都是一模一样的。我们直接... Raeflink系列2022-10-081310 阅读0 评论
Flink系列(二十二)实战Flink滚动计数窗口函数案例 在前面我们演示了一下时间窗口的函数,这篇我们介绍下flink的滚动技术窗口函数案例实战。在flink中实现滚动计数窗口最主要的函数就是 countWindow()方法。一、定义模拟一个数据源package com.f... Raeflink系列2022-10-08797 阅读0 评论
热文Flink系列(二十一)实战Flink滑动时间窗口函数案例 上一篇我们介绍了一下Flink的滚动时间窗口函数,这篇问我们介绍下滑动时间窗口函数。其实说到底,滚动时间窗口和滑动时间窗口是一样的,只是多了一个延迟时间。本篇的演示MySouce类和Splitter类是一样的,我们只... Raeflink系列2022-10-081098 阅读0 评论
Flink系列(二十)实战Flink滚动时间窗口函数案例 在前面我们介绍了很多flink的基础知识,这篇文章我们实战演示下flink的滚动时间窗口函数示例。时间窗口函数在我们的日常工作中使用场景是非常多的,例如:双十一的大盘,5分钟报数一次,股票的每分钟变化分析等。大家可以... Raeflink系列2022-10-08889 阅读0 评论
热文Flink系列(十九)实战Flink读取csv文件数据源案例 在flink中,我们可以有很多外部的数据源,例如:文件、集合、网络流、消息队列、数据库等,我们在使用flink操作数据的时候,首先都需要读取数据源,因此本篇文章我们介绍下flink读取csv文件并转换成pojo对象数... Raeflink系列2022-10-083986 阅读0 评论
Flink系列(十八)DataStream API的专用转换算子有哪些? 在上一篇文章我们介绍了DataSet API的专用转换算子,这篇文章我们介绍下DataStream API的专用转换算子。一、多流转换算子1.1、Union算子Union算子可以将两个或多个数据流进行合并,从而创建一... Raeflink系列2022-09-29845 阅读0 评论
Flink系列(十七)DataSet API的专用转换算子有哪些? 上一篇我们介绍了4个通用性的转换算子,这篇文章我们介绍下flink的DataSet API模型里面,有哪些专用的转换算子。一、聚合类的转换算子1.1、Reduce算子reduce算子主要是将两个元素合并成为一个元素,... Raeflink系列2022-09-29755 阅读0 评论
Flink系列(十六)DataStream和DataSet的通用算子有哪些? 在flink中,当我们处理有界数据和无界数据的时候,我们读取了数据源之后就需要进行tranform操作。在transform里面,我们转换过程中的各种操作类型被称为算子。然后不同的转换组合成一个复杂的数据流拓扑。下面... Raeflink系列2022-09-29663 阅读0 评论
Flink系列(十五)Flink支持哪些数据类型 在flink里面,所有的算子计算都是根据对应的数据结构进行计算的。这篇文章我们就介绍下flink支持哪些数据类型。一、元组类型元组类其实就是flink里面所有的Tuple,他是一个不好喊固定数量的各种类型的字段的复合... Raeflink系列2022-09-29683 阅读0 评论
热文Flink系列(十四)Flink的累加器和计数器 我们有时候会涉及到数据统计,例如用户给了我们一批数据,没法很直观的看到有多少数据量,那么我们在处理的时候,我们需要统计下具体处理了多少数据量等,那么这个情况下我们就需要进行计数。在flink中,天生提供了一些累加器和... Raeflink系列2022-09-291150 阅读0 评论
Flink系列(十三)Flink开发自定义函数的方式有哪些? 在flink开发中,我们常常会自定义函数方法或函数类进行数据转换操作。这篇文章就给大家介绍下flink自定义函数的方式有哪些?一、使用flink提供的接口来实现自定义功能在flink中有很多接口,我们只需要实现自定义... Raeflink系列2022-09-29665 阅读0 评论