Spark提交任务的命令示例有吗?

提问者:帅平 问题分类:大数据
Spark提交任务的命令示例有吗?
2 个回答
孑身一人
孑身一人
下面是一种示例:
./spark-submit.sh 
--master yarn 
--deploy-mode cluster 
--driver-cores 1 
--executor-cores 1
--driver-memory 1g 
--executor-memory 1g 
--num-executors 2 
--name spark_test 
--conf spark.default.parallelism=300
--spark.yarn.jar=hdfs://nameservice1/tools/spark/spark-assembly-1.6.0-cdh5.9.3-hadoop2.6.0-cdh5.9.3.jar 
--jars dependency1.jar,dependency2.jar 
--class com.ph.bdsys.spk.main.SparkMain 
hdfs://nameserbices/tools/spark/execute.jar param1 param2
发布于:5个月前 (11-20) IP属地:四川省
雨落听船眠
雨落听船眠
这是yarn集群的方式提交
发布于:5个月前 (11-20) IP属地:四川省
我来回答