帅平V管理员
文章 5088 篇 | 评论 2307 次
作者 帅平 发布的文章
在spark应用程序开发的时候，如何进行重新分区？
在spark中，我们知道读取hdfs文件的时候，当前读取的rdd只会有1个分区，即使设置了分区，例如： val data = sc.textFile("hdfs://master:9000/source/a.txt"...
热文spark应用程序提交到yarn报错：Cluster deploy mode is not compatible with master "local"
把spark应用程序提交到yarn上运行的时候报错了，提示： Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mo...
如何查看spark集群上的scala版本号是多少？
向spark集群提交任务的时候，提示： Caused by: java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Ls...
在使用spark执行任务的时候，需要把结果写入到另外一个hdfs上，直接报错了，测试的时候提示： Exception in thread "main" org.apache.hadoop.security.Acces...
热文使用idea编写spark程序在本地运行的时候报错：Scala signature package has wrong version
使用idea编写spark程序在本地运行的时候报错： scalac: error while loading package, Scala signature package has wrong version ex...
在idea中运行scala的项目，报错了，提示：scalac: bad option: '-make:transitive'。...