1 个回答
在 Spark 3.0 中,在作业的每个阶段之后,Spark 通过查看完成阶段的指标来动态地确定分区的最佳数量。为了使用它,需要启用以下配置。示例如下:
session.conf.set("spark.sql.adaptive.coalescePartitions.enabled",true)
发布于:2年前 (2022-12-14) IP属地:四川省
我来回答
您需要 登录 后回答此问题!