MapReduce中的Map阶段,会涉及到哪些配置参数?

提问者:帅平 问题分类:大数据
MapReduce中的Map阶段,会涉及到哪些配置参数?
1 个回答
岛是海碎了的心
岛是海碎了的心
Map阶段会涉及到的参数有:
一、设置环形缓冲区的内存值大小
mapreduce.task.io.sort.mb=100m

二、设置溢写的比例
mapreduce.map.sort.spill.percent=100m

三、溢写数据目录
mapreduce.cluster.local.dir=${tmp.dir}/mapred/local

四、设置一次合并多少个溢写文件
mapreduce.task.io.sort.factor=10
发布于:1年前 (2023-02-16) IP属地:四川省
我来回答