全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Mapreduce任务提交到hadoop集群的时候报错：找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

提问者：帅平问题分类：大数据

把mapreduce的任务提交到yarn集群的时候，执行一直失败，直接报错：

错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

错误信息如下图：

Hadoop Mapreduce

发布于：1年前 (2023-04-18) IP属地：四川省

1 个回答

影子爱人

这种主要是环境变量引起的，因此需要在yarn-site.xml文件中配置如下值：

<property>
        <name>yarn.application.classpath</name>
        <value>/home/pubserver/hadoop-3.3.5/etc/hadoop:/home/pubserver/hadoop-3.3.5/share/hadoop/common/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/common/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/*:/home/pubserver/hadoop-3.3.5/share/hadoop/mapreduce/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/*</value>
    </property>

发布于：1年前 (2023-04-18) IP属地：未知

浮°

如果是使用第三方的调度器的话，则在执行hadoop jar命名之前需要先执行下环境变量，例如：

export HADOOP_CLASSPATH=/home/pubserver/hadoop-3.3.5/etc/hadoop:/home/pubserver/hadoop-3.3.5/share/hadoop/common/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/common/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/hdfs/*:/home/pubserver/hadoop-3.3.5/share/hadoop/mapreduce/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/lib/*:/home/pubserver/hadoop-3.3.5/share/hadoop/yarn/*

发布于：1年前 (2023-04-18) IP属地：未知

我来回答