全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Spark Sql应用程序，如何调整shuffle的分区大小？

提问者：帅平问题分类：大数据

Spark Sql应用程序在运行的时候会进行shuffle操作，spark默认是shuffle分区为200个，在实际过程中造成大量的浪费及影响程序的执行效率，请问如何修改这个值？

您阅读本篇文章共花了：

Spark SparkSQL

发布于：1年前 (2022-12-14) IP属地：四川省

1 个回答

岛是海碎了的心

这里可以直接在应用程序里面进行修改，也就是在sparkconf里面进行设置，示例如下：

session.conf.set("spark.sql.shuffle.partitions",30)

发布于：1年前 (2022-12-14) IP属地：四川省

我来回答