Flink应用开发系列（二十）数据集转换之join函数

在flink开发中，我们经常也会涉及到多数据源，此时我们需要把多数据源的数据进行join操作，合并到一起，所以本文的话，我们介绍下join函数。join函数需要根据某个key进行join，两边数据源都要有对应的key...

Raeflink系列2023-08-08853 阅读0 评论

Flink应用开发系列（十九）数据集转换之Distinct函数

在flink开发中，如果我们想要去重的话，也会使用到distinct函数，这个distinct函数和sql是一个效果，下面我们用代码演示一下，完整代码示例如下：package org.example; import ...

Raeflink系列2023-08-08812 阅读0 评论

热文Flink应用开发系列（十八）数据集转换之Reduce函数

在flink的开发中，还有一个比较常用的函数就是reduce函数，这个reduce函数是一个聚合函数，他就是mapreduce的思想，map是拆分转换，reduce就是聚合转换。在使用reduce的时候，接收到的ke...

Raeflink系列2023-08-081022 阅读0 评论

Flink应用开发系列（十七）数据集转换之project函数

本文的话，我们介绍dataset数据集转换常用的project函数。在开发中，有时候我们会给定一个数据集，例如：张三 16 李四 17 王五 18这个数据集代表的含义是用户的姓名和年龄，但是此时我们有这样一个需求，我...

Raeflink系列2023-08-08946 阅读0 评论

热文Flink应用开发系列（十六）数据集转换之FilterFunction

本文的话，我们再介绍下FilterFunction。这里的FilterFunction主要是用于过滤数据的，当匹配的条件为true的话，就会保留数据，匹配条件为false的话，就会丢掉数据。实现FilterFunct...

Raeflink系列2023-08-041240 阅读0 评论

热文Flink应用开发系列（十五）数据集转换之MapPartitionFunction

在前面《Flink应用开发系列（十三）数据集转换之MapFunction》我们介绍了mapfunction，本文的话我们再介绍下这个mappartitionFunction。这里的mappartition和map是差...

Raeflink系列2023-08-041045 阅读0 评论

热文Flink应用开发系列（十四）数据集转换之FlatMapFunction

上一篇文章《Flink应用开发系列（十三）数据集转换之MapFunction》我们介绍了mapfunction，本文的话我们介绍flatmapfunction。mapfunction对数据转换是1对1的，本文的fla...

Raeflink系列2023-08-041038 阅读0 评论

热文Flink应用开发系列（十三）数据集转换之MapFunction

相信大家跟着前面的应用开发系列的文章进行充分的自行编码之后，对于flink应用开发都比较熟悉了。本文我们介绍下数据集转换中的mapfunction。mapfunction主要应用于map函数，这里我们可以通过mapf...

Raeflink系列2023-08-041401 阅读0 评论

Flink应用开发系列（十二）DataSet开发之将参数传递给函数

在实际的flink开发中，我们还会涉及到自定义一些参数，然后把这些参数的值传递给某些方法，这样子在这些方法里面就可以获取到对应配置的自定义参数了。在日常的java开发中，我们经常会涉及到使用构造函数向某个类函数传递参...

Raeflink系列2023-08-04920 阅读0 评论

热文Flink应用开发系列（十一）DataSet开发之分布式缓存

我们知道flink这块是属于分布式计算框架，因此在实际计算的时候，会把整个job切分成很多的task，然后把一部分task聚集到A worker节点上执行，某些task聚集到B worker节点上执行。这就是整个分布...

Raeflink系列2023-08-041031 阅读0 评论

Flink应用开发系列（十）DataSet开发之迭代之DeltaIteration

上文《Flink应用开发系列（九）DataSet开发之迭代之BulkIteration》我们介绍了BulkIteration迭代，本文的话，我们介绍下另外一个迭代，也就是DeltaIteration迭代，简称：Del...

Raeflink系列2023-08-03977 阅读0 评论

热文Flink应用开发系列（九）DataSet开发之迭代之BulkIteration

在flink的应用程序中我们经常在数据分析领域，例如机器学习或者图形分析的时候，我们会涉及到迭代的算法，那什么是迭代呢？这里我们简单的举个案例：给一组（10000个）随机数，查找最小的那个数。这个案例就是我们会涉及到...

Raeflink系列2023-08-031051 阅读0 评论

Flink应用开发系列（八）DataSet开发之排序输出

上文《Flink应用开发系列（七）DataSet开发之自带的写入存储函数》我们介绍了flink开发中Dataset中写入存储的函数，但是在实际情况中，我们会涉及到排序的输出，也就是在最后的输出结果中，我们需要根据某个...

Raeflink系列2023-08-02877 阅读0 评论

Flink应用开发系列（七）DataSet开发之自带的写入存储函数

上文《Flink应用开发系列（六）DataSet开发之自带的读取数据源函数》我们介绍了Flink读取数据源的自带函数，本文的话，我们介绍下Flink写入存储的自带函数。序号函数说明示例1writeAsText()按字...

Raeflink系列2023-08-02835 阅读0 评论

Flink应用开发系列（六）DataSet开发之自带的读取数据源函数

在前面的文章里面，我们介绍过Dataset是从固定的数据源里面读取数据的，所以这里的话，我们列巨额下Flink自带的读取数据源相关的函数，同时也是以表格的事项列举。序号函数说明示例1readTextFile(path...

Raeflink系列2023-08-02826 阅读0 评论