mapreduce在什么情况下会出现数据倾斜的问题?

提问者:帅平 问题分类:面试刷题
mapreduce在什么情况下会出现数据倾斜的问题?
1 个回答
自沧桑
自沧桑
mapreduce可能会在以下场景中出现数据倾斜的问题:
1、join使用不当导致key倾斜:在Map阶段中,某些Key出现的次数很多,而其他Key出现的次数很少,导致ReduceTask中某些Task要处理的Key比其他Task多很多,处理负载不均衡。
2、数据量不均:在Map阶段中,某些Mapper处理的数据量比其他Mapper大很多,导致ReduceTask中某些Task要处理的数据比其他Task多很多,处理负载不均衡。
发布于:3个月前 (01-24) IP属地:四川省
我来回答