全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

spark中如何为RDD分配合理的分区数？

提问者：帅平问题分类：大数据

在spark中运行spark应用程序的时候，分布式计算中如何为RDD分配合理的分区数，从而最大化利用集群资源？

Spark

发布于：1年前 (2022-12-08) IP属地：四川省

1 个回答

素梦瑾然

在官方的指南建议中，我们分配rdd的分区的时候，一般一个CPU核分配2-4个分区比较合理。所以总体来说建议将分区数量设置为集群中CPU核数的3到4倍。

发布于：1年前 (2022-12-08) IP属地：四川省

我来回答