全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Yarn调优一般会涉及到哪些参数?

提问者：帅平问题分类：面试刷题

Yarn调优一般会涉及到哪些参数?

大数据调优

发布于：6个月前 (11-28) IP属地：四川省

1 个回答

绿水长流

yarn调优一般主要是为任务分配资源，所以常关心的参数有：
1、yarn.nodemanager.resource.cpu-vcores

container允许的CPU核个数。

2、yarn.nodemanager.resource.memory-mb

分配给container使用的，物理内存的大小，以MB 为单位。使用HBase 的时候，重要的是不要为节点过度分配内存。建议分配 16GB 给操作系统， 2-4GB给DataNode, 12-24GB给到HBase ，其他部分给YARN （假设没有其他工作负载，如Impala Solr ）。

3、yarn.scheduler.minimum-allocation-mb

每一个容器的请求在RM的最低配置，以MB 为单位。内存请求低于此配置将不会生效，指定的值将被设置成最小的分配单元。推荐的值大小介于1-2GB

发布于：6个月前 (11-28) IP属地：四川省

我来回答