Spark 的 Partitioner 是什么?

提问者:帅平 问题分类:面试刷题
Spark 的 Partitioner 是什么?
1 个回答
挤不进的世界就退出吧
挤不进的世界就退出吧
在 Spark 中,Partitioner 是一个抽象类,用于控制如何对数据进行分区。它定义了一个方法 numPartitions(),用于指定分区的数量。实际上,数据混洗是通过对 RDD 进行重新分区实现的,这涉及到对数据的重新分组和排序。
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答