什么是 Spark Shuffle Manager?

提问者:帅平 问题分类:面试刷题
什么是 Spark Shuffle Manager?
1 个回答
为什么放弃治疗
为什么放弃治疗
Spark Shuffle Manager 是 Spark 中负责管理数据混洗(shuffle)的组件。数据混洗是指在 Spark 集群中将数据重新分配和重组的过程,通常发生在需要将一个 RDD(或 DataFrame/Dataset)中的数据按照某种方式重新分布到不同节点的另一个 RDD(或 DataFrame/Dataset)中的操作中,比如 groupByKey 或 join 等。
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答