1 个回答
mapreduce可能会在以下场景中出现数据倾斜的问题:
1、join使用不当导致key倾斜:在Map阶段中,某些Key出现的次数很多,而其他Key出现的次数很少,导致ReduceTask中某些Task要处理的Key比其他Task多很多,处理负载不均衡。
2、数据量不均:在Map阶段中,某些Mapper处理的数据量比其他Mapper大很多,导致ReduceTask中某些Task要处理的数据比其他Task多很多,处理负载不均衡。
发布于:3个月前 (01-24) IP属地:四川省
我来回答
您需要 登录 后回答此问题!