热文Flink系列(十九)实战Flink读取csv文件数据源案例 在flink中,我们可以有很多外部的数据源,例如:文件、集合、网络流、消息队列、数据库等,我们在使用flink操作数据的时候,首先都需要读取数据源,因此本篇文章我们介绍下flink读取csv文件并转换成pojo对象数... Raeflink系列2022-10-084009 阅读0 评论
Flink系列(十八)DataStream API的专用转换算子有哪些? 在上一篇文章我们介绍了DataSet API的专用转换算子,这篇文章我们介绍下DataStream API的专用转换算子。一、多流转换算子1.1、Union算子Union算子可以将两个或多个数据流进行合并,从而创建一... Raeflink系列2022-09-29852 阅读0 评论
Flink系列(十七)DataSet API的专用转换算子有哪些? 上一篇我们介绍了4个通用性的转换算子,这篇文章我们介绍下flink的DataSet API模型里面,有哪些专用的转换算子。一、聚合类的转换算子1.1、Reduce算子reduce算子主要是将两个元素合并成为一个元素,... Raeflink系列2022-09-29765 阅读0 评论
Flink系列(十六)DataStream和DataSet的通用算子有哪些? 在flink中,当我们处理有界数据和无界数据的时候,我们读取了数据源之后就需要进行tranform操作。在transform里面,我们转换过程中的各种操作类型被称为算子。然后不同的转换组合成一个复杂的数据流拓扑。下面... Raeflink系列2022-09-29670 阅读0 评论
Flink系列(十五)Flink支持哪些数据类型 在flink里面,所有的算子计算都是根据对应的数据结构进行计算的。这篇文章我们就介绍下flink支持哪些数据类型。一、元组类型元组类其实就是flink里面所有的Tuple,他是一个不好喊固定数量的各种类型的字段的复合... Raeflink系列2022-09-29689 阅读0 评论
热文Flink系列(十四)Flink的累加器和计数器 我们有时候会涉及到数据统计,例如用户给了我们一批数据,没法很直观的看到有多少数据量,那么我们在处理的时候,我们需要统计下具体处理了多少数据量等,那么这个情况下我们就需要进行计数。在flink中,天生提供了一些累加器和... Raeflink系列2022-09-291168 阅读0 评论
Flink系列(十三)Flink开发自定义函数的方式有哪些? 在flink开发中,我们常常会自定义函数方法或函数类进行数据转换操作。这篇文章就给大家介绍下flink自定义函数的方式有哪些?一、使用flink提供的接口来实现自定义功能在flink中有很多接口,我们只需要实现自定义... Raeflink系列2022-09-29672 阅读0 评论
Flink系列(十二)Flink开发如何使用ParameterTool 在flink的job开发里面,ParameterTool是一个使用频率比较高的工具类,这个工具类其实就是一个配置的map。在flink job里面,我们自定义的很多类都需要依赖外部传递参数,这时候,在自定义的类里面我... Raeflink系列2022-09-29868 阅读0 评论
Flink系列(十一)Flink开发如何添加sink 在flink的job开发过程中,我们整体会经历三个阶段,分别是:source -> Transform -> sink。今天我们就来介绍下这个sink,即把数据写入某个地方。在flink的job中,我们经过各种算子的... Raeflink系列2022-09-29827 阅读0 评论
Flink系列(十)Flink开发如何进行数据转换 在flink的job开发过程中,我们整体会经历三个阶段,分别是:source -> Transform -> sink。今天我们就来介绍下这个Transform,即数据转换。一、flink如何执行转换操作在flink... Raeflink系列2022-09-29733 阅读0 评论
Flink系列(九)Flink开发如何添加数据源 在flink的job开发过程中,我们整体会经历三个阶段,分别是:source -> Transform -> sink。今天我们就来介绍下这个source。在flink开发里面,不管是DataSet还是DataStr... Raeflink系列2022-09-29733 阅读0 评论
Flink系列(八)Flink开发如何获取执行环境 我们在写flink的kob代码的时候,大家心理应该都有印象,第一步就是需要去获取一个flink的执行环境。例如在之前的代码里面我们是直接用的如下代码:StreamExecutionEnvironment enviro... Raeflink系列2022-09-28937 阅读0 评论
热文Flink系列(七)Flink编程API对应的maven依赖关系 目前我们编写flink程序有很多种实现方式,有java的,有scala的,有python的等等,这里我们介绍下针对于java方面,如果涉及到flink编程,那么哪些api对应使用哪些maven依赖呢?一、flink的... Raeflink系列2022-09-281234 阅读0 评论
Flink系列(六)分析Flink的整体架构 在前面几篇文章里面,我们介绍了flink的几种API操作数据,在这些简单的案例里面,我们可以看到flink的一些基础功能模块及实现效果。这篇文章我们剖析下flink的整体架构。不多说,先来一张flink的整体架构图在... Raeflink系列2022-09-28921 阅读0 评论
热文Flink系列(五)如何生成flink的任务执行计划图 在flink里面,我们编写了job之后,我们有时候需要了解下flink到底怎么执行的这个job。在原生的代码里面,我们写的代码量很少,很难看得出来具体的执行过程。所以在这里flink官方提供了一个可以直接可视化生成f... Raeflink系列2022-09-281215 阅读0 评论