全部数据库微服务运维大数据机器学习搜索引擎消息队列面试刷题

Spark Sql应用程序，如何调整shuffle的分区大小？

提问者：帅平问题分类：大数据

Spark Sql应用程序在运行的时候会进行shuffle操作，spark默认是shuffle分区为200个，在实际过程中造成大量的浪费及影响程序的执行效率，请问如何修改这个值？

Spark SparkSQL

发布于：3个月前 (12-14)

1 个回答

岛是海碎了的心

这里可以直接在应用程序里面进行修改，也就是在sparkconf里面进行设置，示例如下：

session.conf.set("spark.sql.shuffle.partitions",30)

发布于：3个月前 (12-14)

我来回答