执行Spark任务时报错无法获取Yarn信息

提问者:帅平 问题分类:大数据
spark引擎启动时,报错 get the queue information excepiton.(获取Yarn队列信息异常)以及http链接异常错误信息可能还是:org.json4s.JsonAST$JNothing$ cannot be cast to org.json4s.JsonAST$JString
1 个回答
踏尽风雪
踏尽风雪
这是因为linkis-manager里面yarn队列信息配置错误,解决办法:
1.安装前可通过配置文件配置Yarn的ResourceManager的地址配置
解决办法:
1.安装前可通过配置文件配置
参考 配置基础变量中的Yarn的ResourceManager的地址配置
2.通过数据库(linkis_cg_rm_external_resource_provider)配置 yarn 队列信息
yarn的地址配置迁移DB配置,需要增加如下配置,配置为你集群种Yarn的resourceManager地址:

3.通过管理台配置yarn队列信息

参考配置:
{"rmWebAddress":"http://127.0.0.1:8088","hadoopVersion":"2.7.2","authorEnable":false,"user":"@YARN_AUTH_USER","pwd":"@YARN_AUTH_PWD","kerberosEnable":false,"principalName":"@YARN_PRINCIPAL_NAME","keytabPath":"@YARN_KEYTAB_PATH","krb5Path":"@YARN_KRB5_PATH"}
发布于:2年前 (2023-10-11) IP属地:四川省
我来回答