修改Spark版本后,运行工作流中的Spark脚本,还是会找默认引擎spark-2.4.3

提问者:帅平 问题分类:大数据
我自定义的版本是spark2.4.8,linkis配置文件以及数据库中修改适配该版本后,可以正常执行cli和pts中的spark脚本,但是运行工作流中的spark脚本报错。
修改Spark版本后,运行工作流中的Spark脚本,还是会找默认引擎spark-2.4.3
1 个回答
浅时光
浅时光
这是spark配置版本与实际使用版本不一致,解决办法:
在如下两个配置
linkis/conf/linkis.properties
dss/conf/dss-flow-execution-server.properties (特别是这个地方容易忽视)
中加入配置wds.linkis.spark.engine.version=2.4.8

可参考官网的文档:
https://linkis.apache.org/zh-CN/docs/latest/deployment/install-engineconn
发布于:7个月前 (10-11) IP属地:四川省
我来回答