reduceByKey与groupByKey的区别,哪一种更具优势?

提问者:帅平 问题分类:面试刷题

reduceByKey与groupByKey的区别,哪一种更具优势?

1 个回答
丢一地的真心、没人珍惜
丢一地的真心、没人珍惜

reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v]。
groupByKey:按照key进行分组,直接进行shuffle

所以,在实际开发过程中,reduceByKey比groupByKey,更建议使用。但是需要注意是否会影响业务逻辑。

发布于:3周前 (02-27)
我来回答