Flink应用开发系列（十九）数据集转换之Distinct函数

在flink开发中，如果我们想要去重的话，也会使用到distinct函数，这个distinct函数和sql是一个效果，下面我们用代码演示一下，完整代码示例如下：

package org.example;

import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;

public class DistinctFunctionJob {

    public static void main(String[] args) throws Exception{

        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSet<String> dataSource = env.fromElements("张三","李四","王五","赵六","李四","王五","赵六",
                "张三","李四","王五","李四","王五","赵六","李四"
        );

        dataSource.distinct().print();

    }

}

运行看看效果：

可以看到被去重了，最后获取到的结果是去重后的结果。

最后按照惯例，附上本案例的源码，登录后即可下载。