Spark Sql应用程序,如何调整shuffle的分区大小?

提问者:帅平 问题分类:大数据

Spark Sql应用程序在运行的时候会进行shuffle操作,spark默认是shuffle分区为200个,在实际过程中造成大量的浪费及影响程序的执行效率,请问如何修改这个值?

1 个回答
岛是海碎了的心
岛是海碎了的心

这里可以直接在应用程序里面进行修改,也就是在sparkconf里面进行设置,示例如下:

session.conf.set("spark.sql.shuffle.partitions",30)

发布于:3个月前 (12-14)
我来回答