繁
全部 数据库 微服务 运维 大数据 机器学习 搜索引擎 消息队列 面试刷题 go语言

Mapreduce任务提交到hadoop集群的时候报错：找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

提问者：帅平 问题分类：大数据
把mapreduce的任务提交到yarn集群的时候，执行一直失败，直接报错： 
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

错误信息如下图：
Hadoop Mapreduce
发布于：2个月前 (04-18) IP属地：四川省
1 个回答
影子爱人
影子爱人
这种主要是环境变量引起的，因此需要在yarn-site.xml文件中配置如下值：
<property>
        <name>yarn.application.classpath</name>
        <value>/home/pubserver/hadoop-3.3.5/etc/hadoop:/home/pubserver/hadoop-3.3.5/share/hadoop/common/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/common/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/*:/home/pubserver/hadoop-3.3.5/share/hadoop/mapreduce/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/*</value>
    </property>
发布于：2个月前 (04-18) IP属地：
浮°
浮°
如果是使用第三方的调度器的话，则在执行hadoop jar命名之前需要先执行下环境变量，例如：
export HADOOP_CLASSPATH=/home/pubserver/hadoop-3.3.5/etc/hadoop:/home/pubserver/hadoop-3.3.5/share/hadoop/common/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/common/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/*:/home/pubserver/hadoop-3.3.5/share/hadoop/mapreduce/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/*
发布于：2个月前 (04-18) IP属地：
我来回答