Spark如何定位数据倾斜的问题?

提问者:帅平 问题分类:面试刷题
Spark如何定位数据倾斜的问题?

 您阅读本篇文章共花了: 

1 个回答
离不开天空的云
离不开天空的云
Spark数据倾斜只会发生在shuffle过程中。
这里给大家罗列一些常用的并且可能会触发shuffle操作的算子:distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。
出现数据倾斜时,可能就是你的代码中使用了这些算子中的某一个所导致的。
发布于:5个月前 (11-20) IP属地:四川省
我来回答