繁
注册/登录
繁
搜索一下
全部
数据库
微服务
运维
大数据
机器学习
搜索引擎
消息队列
面试刷题
spark中如何为RDD分配合理的分区数?
提问者:
帅平
问题分类:
大数据
在spark中运行spark应用程序的时候,分布式计算中如何为RDD分配合理的分区数,从而最大化利用集群资源?
Spark
发布于:2个月前 (12-08)
我来回答
举报
1 个回答
素梦瑾然
在官方的指南建议中,我们分配rdd的分区的时候,一般一个CPU核分配2-4个分区比较合理。所以总体来说建议将分区数量设置为集群中CPU核数的3到4倍。
发布于:2个月前 (12-08)
有用
0
回复
举报
我来回答
您需要
登录
后回答此问题!