Flink系列(二十四)实战Flink会话窗口函数案例 前面我们介绍了时间窗口和计数窗口,这篇我们介绍下会话窗口。会话窗口可以简单的理解成,消费方直接对接数据源,如果数据源在超过设定的时间内没有接收到数据,则当前对话被销毁,当前的对话就是一个窗口。当老的会话窗口被销毁后,... Raeflink系列2022-10-08742 阅读0 评论
热文Flink系列(二十三)实战Flink滑动计数窗口函数案例 上一篇我们介绍了flink的滚动计数窗口函数,这篇文章我们介绍下Flink的滑动计数窗口函数案例。滑动技术窗口主要其实就是在滚动技术窗口的countWindow里面添加一个滑动大小的值,其他的都是一模一样的。我们直接... Raeflink系列2022-10-081307 阅读0 评论
Flink系列(二十二)实战Flink滚动计数窗口函数案例 在前面我们演示了一下时间窗口的函数,这篇我们介绍下flink的滚动技术窗口函数案例实战。在flink中实现滚动计数窗口最主要的函数就是 countWindow()方法。一、定义模拟一个数据源package com.f... Raeflink系列2022-10-08796 阅读0 评论
热文Flink系列(二十一)实战Flink滑动时间窗口函数案例 上一篇我们介绍了一下Flink的滚动时间窗口函数,这篇问我们介绍下滑动时间窗口函数。其实说到底,滚动时间窗口和滑动时间窗口是一样的,只是多了一个延迟时间。本篇的演示MySouce类和Splitter类是一样的,我们只... Raeflink系列2022-10-081093 阅读0 评论
Flink系列(二十)实战Flink滚动时间窗口函数案例 在前面我们介绍了很多flink的基础知识,这篇文章我们实战演示下flink的滚动时间窗口函数示例。时间窗口函数在我们的日常工作中使用场景是非常多的,例如:双十一的大盘,5分钟报数一次,股票的每分钟变化分析等。大家可以... Raeflink系列2022-10-08887 阅读0 评论
热文Flink系列(十九)实战Flink读取csv文件数据源案例 在flink中,我们可以有很多外部的数据源,例如:文件、集合、网络流、消息队列、数据库等,我们在使用flink操作数据的时候,首先都需要读取数据源,因此本篇文章我们介绍下flink读取csv文件并转换成pojo对象数... Raeflink系列2022-10-083984 阅读0 评论
Flink系列(十八)DataStream API的专用转换算子有哪些? 在上一篇文章我们介绍了DataSet API的专用转换算子,这篇文章我们介绍下DataStream API的专用转换算子。一、多流转换算子1.1、Union算子Union算子可以将两个或多个数据流进行合并,从而创建一... Raeflink系列2022-09-29842 阅读0 评论
Flink系列(十七)DataSet API的专用转换算子有哪些? 上一篇我们介绍了4个通用性的转换算子,这篇文章我们介绍下flink的DataSet API模型里面,有哪些专用的转换算子。一、聚合类的转换算子1.1、Reduce算子reduce算子主要是将两个元素合并成为一个元素,... Raeflink系列2022-09-29754 阅读0 评论
Flink系列(十六)DataStream和DataSet的通用算子有哪些? 在flink中,当我们处理有界数据和无界数据的时候,我们读取了数据源之后就需要进行tranform操作。在transform里面,我们转换过程中的各种操作类型被称为算子。然后不同的转换组合成一个复杂的数据流拓扑。下面... Raeflink系列2022-09-29662 阅读0 评论
Flink系列(十五)Flink支持哪些数据类型 在flink里面,所有的算子计算都是根据对应的数据结构进行计算的。这篇文章我们就介绍下flink支持哪些数据类型。一、元组类型元组类其实就是flink里面所有的Tuple,他是一个不好喊固定数量的各种类型的字段的复合... Raeflink系列2022-09-29682 阅读0 评论
热文Flink系列(十四)Flink的累加器和计数器 我们有时候会涉及到数据统计,例如用户给了我们一批数据,没法很直观的看到有多少数据量,那么我们在处理的时候,我们需要统计下具体处理了多少数据量等,那么这个情况下我们就需要进行计数。在flink中,天生提供了一些累加器和... Raeflink系列2022-09-291146 阅读0 评论
Flink系列(十三)Flink开发自定义函数的方式有哪些? 在flink开发中,我们常常会自定义函数方法或函数类进行数据转换操作。这篇文章就给大家介绍下flink自定义函数的方式有哪些?一、使用flink提供的接口来实现自定义功能在flink中有很多接口,我们只需要实现自定义... Raeflink系列2022-09-29661 阅读0 评论
Flink系列(十二)Flink开发如何使用ParameterTool 在flink的job开发里面,ParameterTool是一个使用频率比较高的工具类,这个工具类其实就是一个配置的map。在flink job里面,我们自定义的很多类都需要依赖外部传递参数,这时候,在自定义的类里面我... Raeflink系列2022-09-29859 阅读0 评论
Flink系列(十一)Flink开发如何添加sink 在flink的job开发过程中,我们整体会经历三个阶段,分别是:source -> Transform -> sink。今天我们就来介绍下这个sink,即把数据写入某个地方。在flink的job中,我们经过各种算子的... Raeflink系列2022-09-29817 阅读0 评论
Flink系列(十)Flink开发如何进行数据转换 在flink的job开发过程中,我们整体会经历三个阶段,分别是:source -> Transform -> sink。今天我们就来介绍下这个Transform,即数据转换。一、flink如何执行转换操作在flink... Raeflink系列2022-09-29726 阅读0 评论