全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Spark任务出现数据倾斜有哪些表现？

提问者：帅平问题分类：面试刷题

Spark任务出现数据倾斜有哪些表现？

Spark

发布于：6个月前 (11-20) IP属地：四川省

1 个回答

伤疤

1、Executor lost，OOM，Shuffle过程出错。
2、Driver OOM。
3、单个Executor执行时间特别久，整体任务卡在某个阶段不能结束。
4、正常运行的任务突然失败。

发布于：6个月前 (11-20) IP属地：四川省

我来回答