有没有spark提交任务的时候常用的调优参数示例?

提问者:帅平 问题分类:大数据
有没有spark提交任务的时候常用的调优参数示例?
1 个回答
浴血而重生
浴血而重生
./bin/spark-submit \
--master yarn-cluster \
--num-executors 100 \
--executor-memory 6G \
--executor-cores 4 \
--driver-memory 1G \
--conf spark.default.parallelism=1000 \
--conf spark.storage.memoryFraction=0.5 \
--conf spark.shuffle.memoryFraction=0.3
发布于:8个月前 (11-20) IP属地:四川省
我来回答