全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

修改Spark版本后，运行工作流中的Spark脚本，还是会找默认引擎spark-2.4.3

提问者：帅平问题分类：大数据

我自定义的版本是spark2.4.8，linkis配置文件以及数据库中修改适配该版本后，可以正常执行cli和pts中的spark脚本，但是运行工作流中的spark脚本报错。

Linkis Spark

发布于：1年前 (2023-10-11) IP属地：四川省

1 个回答

浅时光

这是spark配置版本与实际使用版本不一致，解决办法：

在如下两个配置
linkis/conf/linkis.properties
dss/conf/dss-flow-execution-server.properties （特别是这个地方容易忽视）
中加入配置wds.linkis.spark.engine.version=2.4.8

可参考官网的文档：

https://linkis.apache.org/zh-CN/docs/latest/deployment/install-engineconn

发布于：1年前 (2023-10-11) IP属地：四川省

我来回答