全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

spark应用程序提交到yarn报错：Cluster deploy mode is not compatible with master "local"

提问者：帅平问题分类：大数据

把spark应用程序提交到yarn上运行的时候报错了，提示：

Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not compatible with master "local"
        at org.apache.spark.deploy.SparkSubmit.error(SparkSubmit.scala:975)
        at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:279)
        at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:901)
        at org.apache.spark.deploy.SparkSubmit.doRunMain(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:203)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:90)
        at org.apache.spark.deploy.SparkSubmit$$anon.doSubmit(SparkSubmit.scala:1046)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1055)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

提交命令是：

./spark-submit --deploy-mode cluster --conf spark.driver.memory=512m --executor-cores 2 --num-executors 2 --executor-memory 1g --class org.example.SparkWordCount --master yarn --name wordcount /home/pubserver/spark-3.3.0-bin-hadoop3/jobjar/TestDemo-1.0-SNAPSHOT.jar

这里明显已经指定了--master yarn 为什么报错变成了local了呢？

Spark

发布于：2年前 (2022-12-06) IP属地：四川省

1 个回答

岛是海碎了的心

这里把--master yarn 这个放到前面去，放在--conf之前即可，一定要紧跟--deploy-mode。更改顺序后再执行就没问题了。

发布于：2年前 (2022-12-06) IP属地：四川省

我来回答