Spark提交作业会涉及到哪些参数?

executor-cores —— 每个executor使用的内核数，默认为1，官方建议2-5个，我们企业是4个
num-executors —— 启动executors的数量，默认为2
executor-memory —— executor内存大小，默认1G
driver-cores —— driver使用内核数，默认为1
driver-memory —— driver内存大小，默认512M
在使用Spark提交作业时，可以使用以下参数：
--class：指定要运行的主类名。
--master：指定要连接的Spark集群的URL。例如，--master yarn将连接到YARN集群。
--deploy-mode：指定作业的部署模式，可选值为client或cluster。client模式是在客户端启动Driver程序，cluster模式则是在集群中启动Driver程序。
--executor-memory：指定每个Executor可用的内存量。例如，--executor-memory 4g将为每个Executor分配4GB内存。
--num-executors：指定要启动的Executor数量。例如，--num-executors 10将启动10个Executor。
--executor-cores：指定每个Executor可用的CPU核心数量。例如，--executor-cores 2将为每个Executor分配2个CPU核心。
--conf：用于设置Spark配置属性。例如，--conf spark.shuffle.compress=true将启用Shuffle压缩。
--jars：用于指定需要在作业中使用的JAR文件。例如，--jars /path/to/jar1,/path/to/jar2将加载jar1和jar2。
--files：用于指定需要在作业中使用的文件。例如，--files /path/to/file1,/path/to/file2将加载file1和file2。
更多参数和说明可以通过运行spark-submit --help来查看。