全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

MapReduce中的Map阶段，会涉及到哪些配置参数？

提问者：帅平问题分类：大数据

Hadoop Mapreduce

发布于：2年前 (2023-02-16) IP属地：四川省

1 个回答

岛是海碎了的心

Map阶段会涉及到的参数有：
一、设置环形缓冲区的内存值大小

mapreduce.task.io.sort.mb=100m

二、设置溢写的比例

mapreduce.map.sort.spill.percent=100m

三、溢写数据目录

mapreduce.cluster.local.dir=${tmp.dir}/mapred/local

四、设置一次合并多少个溢写文件

mapreduce.task.io.sort.factor=10

发布于：2年前 (2023-02-16) IP属地：四川省

我来回答