2 个回答
下面是一种示例:
./spark-submit.sh
--master yarn
--deploy-mode cluster
--driver-cores 1
--executor-cores 1
--driver-memory 1g
--executor-memory 1g
--num-executors 2
--name spark_test
--conf spark.default.parallelism=300
--spark.yarn.jar=hdfs://nameservice1/tools/spark/spark-assembly-1.6.0-cdh5.9.3-hadoop2.6.0-cdh5.9.3.jar
--jars dependency1.jar,dependency2.jar
--class com.ph.bdsys.spk.main.SparkMain
hdfs://nameserbices/tools/spark/execute.jar param1 param2
发布于:1年前 (2023-11-20) IP属地:四川省
这是yarn集群的方式提交
发布于:1年前 (2023-11-20) IP属地:四川省
我来回答
您需要 登录 后回答此问题!