MapReduce中的Map阶段,会涉及到哪些配置参数?

提问者:帅平 问题分类:大数据

MapReduce中的Map阶段,会涉及到哪些配置参数?

1 个回答
岛是海碎了的心
岛是海碎了的心

Map阶段会涉及到的参数有:

一、设置环形缓冲区的内存值大小

mapreduce.task.io.sort.mb=100m

二、设置溢写的比例

mapreduce.map.sort.spill.percent=100m

三、溢写数据目录

mapreduce.cluster.local.dir=${tmp.dir}/mapred/local

四、设置一次合并多少个溢写文件

mapreduce.task.io.sort.factor=10

发布于:1个月前 (02-16)
我来回答