修改Spark版本后,运行工作流中的Spark脚本,还是会找默认引擎spark-2.4.3 我自定义的版本是spark2.4.8,linkis配置文件以及数据库中修改适配该版本后,可以正常执行cli和pts中的spark脚本,但是运行工作流中的spark脚本报错。... 帅平大数据2023-10-11843 阅读1 评论
执行Spark任务报错,标签不存在 执行任务报错,标签不存在 ,错误日志 2021-12-28 09:16:05.016 ERROR Task is Failed,errorMsg:ask Engine failed errCode:12003,des... 帅平大数据2023-10-11817 阅读1 评论
Linkis1.X在CDH5.16.1版本提交任务时,404的问题如何排查 运行spark sql任务报错,主要报错信息如下: 21304, Task is Failed,errorMsg: errCode: 12003 ,desc: ip:port_x Failed to async ge... 帅平大数据2023-10-11878 阅读1 评论
执行spark任务时报队列资源不足异常 执行命令:sh bin/linkis-cli -submitUser hadoop -engineType spark-2.3.2 -codeType sql -code "show tables"报错集群队列内存资... 帅平大数据2023-10-11794 阅读1 评论
执行Spark任务查询数据结果为空 CDH环境提交spark-sql查询任务,结果数据为空,日志报org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy 并提示21304, Task is... 帅平大数据2023-10-09877 阅读1 评论
热文执行spark-sql的时候报错了,提示:The specified datastore driver ("com.mysql.cj.jdbc.Driver") was not found 执行spark-sql的时候报错了,提示: Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException... 帅平大数据2023-09-061064 阅读1 评论
求助:sparksql创建paimon表,怎么插入一个timestamp的值呢? 求助:sparksql创建paimon表,怎么插入一个timestamp的值呢?我使用如下的sql: CREATE TABLE time_table ( a timestamp, b BIGINT ); insert... 帅平大数据2023-08-10940 阅读1 评论
pyspark的sparksubmit提交支持cluster模式吗? 你好,pyspark的sparksubmit提交支持cluster模式吗?用linkis提交的。... 帅平大数据2023-08-02805 阅读1 评论
热文分布式调度系统Apache DolphinScheduler系列(十一)使用DolphinScheduler执行spark job任务 在DolphinScheduler中,我们还会涉及到经常使用到的一种任务类型,就是运行spark的任务,这篇文章我们介绍下使用DolphinScheduler配置下spark的对应任务。下面直接开始。一、首先需要部署... RaeDolphin系列2023-04-253173 阅读0 评论
热文spark安装配置篇(一)spark-3.4.0单机版安装教程 在dolphinscheduler系列里面我们还有一个常用的没有介绍到的就是spark了,这篇文章我们介绍下spark的单机版本安装。下面直接开始。一、下载spark最新版本要想安装spark,我们首先需要去下载一个... Raespark系列2023-04-242241 阅读0 评论