Rae 第114页

在前面我们演示了一下时间窗口的函数，这篇我们介绍下flink的滚动技术窗口函数案例实战。在flink中实现滚动计数窗口最主要的函数就是 countWindow()方法。一、定义模拟一个数据源package com.f...

Rae /flink系列 /2022-10-08 /0 评论 /754 阅读

上一篇我们介绍了一下Flink的滚动时间窗口函数，这篇问我们介绍下滑动时间窗口函数。其实说到底，滚动时间窗口和滑动时间窗口是一样的，只是多了一个延迟时间。本篇的演示MySouce类和Splitter类是一样的，我们只...

Rae /flink系列 /2022-10-08 /0 评论 /1055 阅读

在前面我们介绍了很多flink的基础知识，这篇文章我们实战演示下flink的滚动时间窗口函数示例。时间窗口函数在我们的日常工作中使用场景是非常多的，例如：双十一的大盘，5分钟报数一次，股票的每分钟变化分析等。大家可以...

Rae /flink系列 /2022-10-08 /0 评论 /848 阅读

在flink中，我们可以有很多外部的数据源，例如：文件、集合、网络流、消息队列、数据库等，我们在使用flink操作数据的时候，首先都需要读取数据源，因此本篇文章我们介绍下flink读取csv文件并转换成pojo对象数...

Rae /flink系列 /2022-10-08 /0 评论 /3909 阅读

Flink系列（十八）DataStream API的专用转换算子有哪些？

在上一篇文章我们介绍了DataSet API的专用转换算子，这篇文章我们介绍下DataStream API的专用转换算子。一、多流转换算子1.1、Union算子Union算子可以将两个或多个数据流进行合并，从而创建一...

Rae /flink系列 /2022-09-29 /0 评论 /810 阅读

上一篇我们介绍了4个通用性的转换算子，这篇文章我们介绍下flink的DataSet API模型里面，有哪些专用的转换算子。一、聚合类的转换算子1.1、Reduce算子reduce算子主要是将两个元素合并成为一个元素，...

Rae /flink系列 /2022-09-29 /0 评论 /719 阅读

在flink中，当我们处理有界数据和无界数据的时候，我们读取了数据源之后就需要进行tranform操作。在transform里面，我们转换过程中的各种操作类型被称为算子。然后不同的转换组合成一个复杂的数据流拓扑。下面...

Rae /flink系列 /2022-09-29 /0 评论 /625 阅读

在flink里面，所有的算子计算都是根据对应的数据结构进行计算的。这篇文章我们就介绍下flink支持哪些数据类型。一、元组类型元组类其实就是flink里面所有的Tuple，他是一个不好喊固定数量的各种类型的字段的复合...

Rae /flink系列 /2022-09-29 /0 评论 /647 阅读

我们有时候会涉及到数据统计，例如用户给了我们一批数据，没法很直观的看到有多少数据量，那么我们在处理的时候，我们需要统计下具体处理了多少数据量等，那么这个情况下我们就需要进行计数。在flink中，天生提供了一些累加器和...

Rae /flink系列 /2022-09-29 /0 评论 /1085 阅读