Flink应用开发系列(二十八)DataStream开发之系统自带的sink 在datastream api的应用程序开发中,除了系统自带的source之外,系统还自带一些sink,本文的话,我们就介绍下系统自带的sink。1)writeAsText() 将元素以字符串的形式写入文本文件。示例... Raeflink系列2023-08-15876 阅读0 评论
Flink应用开发系列(二十七)DataStream开发之Transformation算子 在前面我们介绍过Flink Datastream api开发中主要的三个基本组成:source etl sink这里的etl就是指对数据的处理,我们需要依靠flink api里面的Transformation算子进行... Raeflink系列2023-08-15903 阅读0 评论
Flink应用开发系列(二十六)DataStream开发之自定义source 在flink datastream中进行应用开发的时候,除了使用系统自带的source之外,我们还可以自定义source,然后使用StreamExecutionEnvironment.addSource(source... Raeflink系列2023-08-15740 阅读0 评论
Flink应用开发系列(二十五)DataStream开发之系统自带的source 在flink DataStream应用开发中,source是咱们程序读取数据的地方。在flink 自带的api里面,提供了一些自带的source,我们可以很方便的使用,下面我们介绍下flink应用程序自带的sourc... Raeflink系列2023-08-15957 阅读0 评论
热文Flink应用开发系列(二十四)DataStream开发之wordcount 前面的文章《Flink应用开发系列(二十三)DataStream概念介绍》我们对DataStream做了一个基础的介绍,对于整个开发来说,我们首先还是介绍一个wordcount,来看看整个flink DataStre... Raeflink系列2023-08-141017 阅读0 评论
Flink应用开发系列(二十三)DataStream概念介绍 前面的文章我们大致的介绍完了flink中关于Dataset部分的应用开发知识点,从本文开始我们来介绍下Flink的DataStream相关的内容。DataStream API在flink应用开发中属于一种流式处理,他... Raeflink系列2023-08-14933 阅读0 评论
Flink应用开发系列(二十二)数据集转换之rebalance函数 在flink的Dataset开发中,我们可以从外部读取数据源,此时在线上的集群运行中,读取数据源之后,会为任务拆分多个task任务,此时有的task可能拿到的数据比较多,计算时间比较久,有的task可能拿到的数据比较... Raeflink系列2023-08-10947 阅读0 评论
热文Flink应用开发系列(二十一)数据集转换之union函数 在flink的开发中,我们经常还会涉及到这样一个函数,就是union函数,他主要是把两个数据源合并到1个新的数据源里面去,如果这两个数据源里面有相同的数据,合并后的数据就会出现两份,下面我们用案例来演示下,完整代码示... Raeflink系列2023-08-101060 阅读0 评论
Flink应用开发系列(二十)数据集转换之join函数 在flink开发中,我们经常也会涉及到多数据源,此时我们需要把多数据源的数据进行join操作,合并到一起,所以本文的话,我们介绍下join函数。join函数需要根据某个key进行join,两边数据源都要有对应的key... Raeflink系列2023-08-08867 阅读0 评论
Flink应用开发系列(十九)数据集转换之Distinct函数 在flink开发中,如果我们想要去重的话,也会使用到distinct函数,这个distinct函数和sql是一个效果,下面我们用代码演示一下,完整代码示例如下:package org.example; import ... Raeflink系列2023-08-08823 阅读0 评论
热文Flink应用开发系列(十八)数据集转换之Reduce函数 在flink的开发中,还有一个比较常用的函数就是reduce函数,这个reduce函数是一个聚合函数,他就是mapreduce的思想,map是拆分转换,reduce就是聚合转换。在使用reduce的时候,接收到的ke... Raeflink系列2023-08-081044 阅读0 评论
Flink应用开发系列(十七)数据集转换之project函数 本文的话,我们介绍dataset数据集转换常用的project函数。在开发中,有时候我们会给定一个数据集,例如:张三 16 李四 17 王五 18这个数据集代表的含义是用户的姓名和年龄,但是此时我们有这样一个需求,我... Raeflink系列2023-08-08965 阅读0 评论
热文Flink应用开发系列(十六)数据集转换之FilterFunction 本文的话,我们再介绍下FilterFunction。这里的FilterFunction主要是用于过滤数据的,当匹配的条件为true的话,就会保留数据,匹配条件为false的话,就会丢掉数据。实现FilterFunct... Raeflink系列2023-08-041260 阅读0 评论
热文Flink应用开发系列(十五)数据集转换之MapPartitionFunction 在前面《Flink应用开发系列(十三)数据集转换之MapFunction》我们介绍了mapfunction,本文的话我们再介绍下这个mappartitionFunction。这里的mappartition和map是差... Raeflink系列2023-08-041056 阅读0 评论
热文Flink应用开发系列(十四)数据集转换之FlatMapFunction 上一篇文章《Flink应用开发系列(十三)数据集转换之MapFunction》我们介绍了mapfunction,本文的话我们介绍flatmapfunction。mapfunction对数据转换是1对1的,本文的fla... Raeflink系列2023-08-041051 阅读0 评论