Flink应用开发系列(二十)数据集转换之join函数 在flink开发中,我们经常也会涉及到多数据源,此时我们需要把多数据源的数据进行join操作,合并到一起,所以本文的话,我们介绍下join函数。join函数需要根据某个key进行join,两边数据源都要有对应的key... Raeflink系列2023-08-08893 阅读0 评论
Flink应用开发系列(十九)数据集转换之Distinct函数 在flink开发中,如果我们想要去重的话,也会使用到distinct函数,这个distinct函数和sql是一个效果,下面我们用代码演示一下,完整代码示例如下:package org.example; import ... Raeflink系列2023-08-08847 阅读0 评论
热文Flink应用开发系列(十八)数据集转换之Reduce函数 在flink的开发中,还有一个比较常用的函数就是reduce函数,这个reduce函数是一个聚合函数,他就是mapreduce的思想,map是拆分转换,reduce就是聚合转换。在使用reduce的时候,接收到的ke... Raeflink系列2023-08-081083 阅读0 评论
热文Flink应用开发系列(十七)数据集转换之project函数 本文的话,我们介绍dataset数据集转换常用的project函数。在开发中,有时候我们会给定一个数据集,例如:张三 16 李四 17 王五 18这个数据集代表的含义是用户的姓名和年龄,但是此时我们有这样一个需求,我... Raeflink系列2023-08-081013 阅读0 评论
热文产品经理如何理解电力现货交易? 前段时间有个群里讨论电力市场化的意义,顺带翻出了去年这篇《产品经理如何理解电力交易市场化?》。最近对电力现货市场交易接触越多,发现去年这篇只限于电力市场化概念化的理解,为此本篇探讨下对于电力现货交易的理解。现货交易参... Rae职场感悟2023-08-071054 阅读0 评论
热文Flink应用开发系列(十六)数据集转换之FilterFunction 本文的话,我们再介绍下FilterFunction。这里的FilterFunction主要是用于过滤数据的,当匹配的条件为true的话,就会保留数据,匹配条件为false的话,就会丢掉数据。实现FilterFunct... Raeflink系列2023-08-041294 阅读0 评论
热文Flink应用开发系列(十五)数据集转换之MapPartitionFunction 在前面《Flink应用开发系列(十三)数据集转换之MapFunction》我们介绍了mapfunction,本文的话我们再介绍下这个mappartitionFunction。这里的mappartition和map是差... Raeflink系列2023-08-041082 阅读0 评论
热文Flink应用开发系列(十四)数据集转换之FlatMapFunction 上一篇文章《Flink应用开发系列(十三)数据集转换之MapFunction》我们介绍了mapfunction,本文的话我们介绍flatmapfunction。mapfunction对数据转换是1对1的,本文的fla... Raeflink系列2023-08-041072 阅读0 评论
热文Flink应用开发系列(十三)数据集转换之MapFunction 相信大家跟着前面的应用开发系列的文章进行充分的自行编码之后,对于flink应用开发都比较熟悉了。本文我们介绍下数据集转换中的mapfunction。mapfunction主要应用于map函数,这里我们可以通过mapf... Raeflink系列2023-08-041459 阅读0 评论
Flink应用开发系列(十二)DataSet开发之将参数传递给函数 在实际的flink开发中,我们还会涉及到自定义一些参数,然后把这些参数的值传递给某些方法,这样子在这些方法里面就可以获取到对应配置的自定义参数了。在日常的java开发中,我们经常会涉及到使用构造函数向某个类函数传递参... Raeflink系列2023-08-04961 阅读0 评论
热文Flink应用开发系列(十一)DataSet开发之分布式缓存 我们知道flink这块是属于分布式计算框架,因此在实际计算的时候,会把整个job切分成很多的task,然后把一部分task聚集到A worker节点上执行,某些task聚集到B worker节点上执行。这就是整个分布... Raeflink系列2023-08-041077 阅读0 评论
热文Flink应用开发系列(十)DataSet开发之迭代之DeltaIteration 上文《Flink应用开发系列(九)DataSet开发之迭代之BulkIteration》我们介绍了BulkIteration迭代,本文的话,我们介绍下另外一个迭代,也就是DeltaIteration迭代,简称:Del... Raeflink系列2023-08-031018 阅读0 评论
热文Flink应用开发系列(九)DataSet开发之迭代之BulkIteration 在flink的应用程序中我们经常在数据分析领域,例如机器学习或者图形分析的时候,我们会涉及到迭代的算法,那什么是迭代呢?这里我们简单的举个案例:给一组(10000个)随机数,查找最小的那个数。这个案例就是我们会涉及到... Raeflink系列2023-08-031100 阅读0 评论
Flink应用开发系列(八)DataSet开发之排序输出 上文《Flink应用开发系列(七)DataSet开发之自带的写入存储函数》我们介绍了flink开发中Dataset中写入存储的函数,但是在实际情况中,我们会涉及到排序的输出,也就是在最后的输出结果中,我们需要根据某个... Raeflink系列2023-08-02921 阅读0 评论
Flink应用开发系列(七)DataSet开发之自带的写入存储函数 上文《Flink应用开发系列(六)DataSet开发之自带的读取数据源函数》我们介绍了Flink读取数据源的自带函数,本文的话,我们介绍下Flink写入存储的自带函数。序号函数说明示例1writeAsText()按字... Raeflink系列2023-08-02866 阅读0 评论