Flink应用开发系列(十二)DataSet开发之将参数传递给函数 在实际的flink开发中,我们还会涉及到自定义一些参数,然后把这些参数的值传递给某些方法,这样子在这些方法里面就可以获取到对应配置的自定义参数了。在日常的java开发中,我们经常会涉及到使用构造函数向某个类函数传递参... Rae /flink系列 /2023-08-04 /0 评论 /289 阅读
Flink应用开发系列(十一)DataSet开发之分布式缓存 我们知道flink这块是属于分布式计算框架,因此在实际计算的时候,会把整个job切分成很多的task,然后把一部分task聚集到A worker节点上执行,某些task聚集到B worker节点上执行。这就是整个分布... Rae /flink系列 /2023-08-04 /0 评论 /379 阅读
Flink应用开发系列(八)DataSet开发之排序输出 上文《Flink应用开发系列(七)DataSet开发之自带的写入存储函数》我们介绍了flink开发中Dataset中写入存储的函数,但是在实际情况中,我们会涉及到排序的输出,也就是在最后的输出结果中,我们需要根据某个... Rae /flink系列 /2023-08-02 /0 评论 /389 阅读
Flink应用开发系列(七)DataSet开发之自带的写入存储函数 上文《Flink应用开发系列(六)DataSet开发之自带的读取数据源函数》我们介绍了Flink读取数据源的自带函数,本文的话,我们介绍下Flink写入存储的自带函数。序号函数说明示例1writeAsText()按字... Rae /flink系列 /2023-08-02 /0 评论 /397 阅读
Flink应用开发系列(六)DataSet开发之自带的读取数据源函数 在前面的文章里面,我们介绍过Dataset是从固定的数据源里面读取数据的,所以这里的话,我们列巨额下Flink自带的读取数据源相关的函数,同时也是以表格的事项列举。序号函数说明示例1readTextFile(path... Rae /flink系列 /2023-08-02 /0 评论 /344 阅读
Flink应用开发系列(五)DataSet开发之数据集转换函数及示例用法 在上一篇文章《Flink应用开发系列(四)DataSet开发之实现wordcount》我们介绍了wordcount的示例,在代码里面我们使用了flatmap、groupBy、sum等函数来对数据进行转换操作,本文的话... Rae /flink系列 /2023-08-02 /0 评论 /413 阅读
Flink应用开发系列(四)DataSet开发之实现wordcount 在上一篇文章《Flink应用开发系列(三)DataSet概念介绍》我们介绍了Dataset,本文的话,我们编写一个wordcount程序给大家演示一下Dataset的用法及实现效果。背景这里我们模拟从集合读取数据,然... Rae /flink系列 /2023-08-02 /0 评论 /384 阅读