Repartition和Coalesce 的关系与区别,能简单说说吗?

提问者:帅平 问题分类:面试刷题
Repartition和Coalesce 的关系与区别,能简单说说吗?

 您阅读本篇文章共花了: 

1 个回答
理解的心
理解的心
1)关系:
两者都是用来改变RDD的partition数量的,repartition底层调用的就是coalesce方法:coalesce(numPartitions, shuffle = true)

2)区别:
repartition一定会发生shuffle,coalesce 根据传入的参数来判断是否发生shuffle。
一般情况下增大rdd的partition数量使用repartition,减少partition数量时使用coalesce。
发布于:1年前 (2023-02-27) IP属地:四川省
我来回答