Spark Sql中如何合并 Shuffle 后分区?

提问者:帅平 问题分类:大数据
Spark Sql中如何合并 Shuffle 后分区?

 您阅读本篇文章共花了: 

1 个回答
自愈
自愈
在 Spark 3.0 中,在作业的每个阶段之后,Spark 通过查看完成阶段的指标来动态地确定分区的最佳数量。为了使用它,需要启用以下配置。示例如下:
session.conf.set("spark.sql.adaptive.coalescePartitions.enabled",true)
发布于:1年前 (2022-12-14) IP属地:四川省
我来回答