全部数据库微服务运维大数据机器学习搜索引擎消息队列面试刷题

spark中如何为RDD分配合理的分区数？

提问者：帅平问题分类：大数据

在spark中运行spark应用程序的时候，分布式计算中如何为RDD分配合理的分区数，从而最大化利用集群资源？

Spark

发布于：2个月前 (12-08)

1 个回答

素梦瑾然

在官方的指南建议中，我们分配rdd的分区的时候，一般一个CPU核分配2-4个分区比较合理。所以总体来说建议将分区数量设置为集群中CPU核数的3到4倍。

发布于：2个月前 (12-08)

我来回答