spark中如何为RDD分配合理的分区数?

提问者:帅平 问题分类:大数据

在spark中运行spark应用程序的时候,分布式计算中如何为RDD分配合理的分区数,从而最大化利用集群资源?

1 个回答
素梦瑾然
素梦瑾然

在官方的指南建议中,我们分配rdd的分区的时候,一般一个CPU核分配2-4个分区比较合理。所以总体来说建议将分区数量设置为集群中CPU核数的3到4倍。

发布于:2个月前 (12-08)
我来回答