全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

在第三方调度器里面使用hadoop jar命令提交mapreduce，yarn上看不到任务怎么办？

提问者：帅平问题分类：大数据

使用第三方的调度器提交mapreduce任务，提交的命令是hadoop jar xxxx，在调度器里面可以看到任务执行成功了，但是在yarn的8088 UI上看到这个job怎么办？

Hadoop Mapreduce

发布于：1年前 (2023-04-18) IP属地：四川省

1 个回答

扎起头发是矫情

在提交的时候，添加如下的参数配置即可：

-Dmapreduce.framework.name=yarn

示例提交命令如下：

hadoop jar hadoop-mapreduce-jars/hadoop-mapreduce-examples-3.3.5.jar wordcount -Dmapreduce.job.name=wordcount -Dmapreduce.job.queuename=default -Dmapreduce.framework.name=yarn hdfs://192.168.31.218:8020/test hdfs://192.168.31.218:8020/output

发布于：1年前 (2023-04-18) IP属地：四川省

我来回答