将Spark应用程序提交到Hadoop集群中运行有哪些方式?

提问者:帅平 问题分类:面试刷题
将Spark应用程序提交到Hadoop集群中运行有哪些方式?
1 个回答
拜你所赐
拜你所赐
使用Hadoop的YARN调度器启动Spark应用程序。可以使用以下命令提交应用程序:
spark-submit --class <main-class> --master yarn --deploy-mode cluster <application-jar>

其中,--master参数指定为yarn,--deploy-mode参数指定为cluster,表示将Spark应用程序部署到YARN集群中运行。
使用Spark的独立集群管理器启动Spark应用程序。可以使用以下命令提交应用程序:
spark-submit --class <main-class> --master spark://<spark-master-hostname>:7077 <application-jar>

其中,--master参数指定为spark://<spark-master-host
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答