全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Spark 的 Shuffle Write Metrics 的作用是什么

提问者：帅平问题分类：面试刷题

Spark面试题

发布于：1年前 (2023-03-27) IP属地：四川省

1 个回答

扎起头发是矫情

Spark 的 Shuffle Write Metrics 用于监控和调优 Spark 中的 Shuffle Write 过程，Shuffle Write 是指在 Map 阶段结束后将 Map 结果按照 key 进行排序并写入磁盘的过程，该过程可能成为 Spark 应用中的瓶颈之一。

发布于：1年前 (2023-03-27) IP属地：四川省

我来回答