作者 Rae 发布的文章

从spark2.0开始，spark的应用程序入口变成了SparkSession，在Spark2.0之前，spark的应用程序入口是SparkContext。目前spark已经是3.x了，因此我们不再介绍SparkCo...

在上一篇文章里面我们介绍了spark应用程序提交，也提到过几个常见的参数，这篇文章我们详细介绍下对应的参数信息及说明。详细的参数如下：序号选项说明1--master指定使用哪个集群管理器来运行spark的应用程序，S...

在前面我们介绍了spark直接提交到standalone的集群运行，这里我们演示下把spark的程序提交到yarn上运行。在生产环境中我们一般都会把应用程序提交到yarn上运行，这几乎是我遇到的大数据公司的共识，通过...

在编写spark相关的文章的时候，准备把本地打包的程序部署到服务器上，结果始终打包有问题，总结下出现的问题主要有：1、打包的代码上传上去找不到类 2、打包上去的代码运行时出现版本异常因此这里我把scala编写的spa...

之前的文章我们介绍了spark的wordcount应用程序开发，同时也把spark的wordcount应用程序修改为从hdfs上读取和写入，这篇文章我们介绍下如何把spark应用程序提交到spark集群里面运行。一、...

在前面我们介绍了使用scala开发一个spark的wordcount程序，当时读取的是本地，最后结果是打印出来，现在我们把这个文件上传到hdfs上，然后通过hdfs进行读写文件。（写这篇文章主要是为了写下一篇spar...

在前面我们介绍了直接在物理机上安装spark集群，详见《Spark学习（十）Spark集群安装》，在生产环境中我们肯定是必须使用这种方式安装。这篇文章我们介绍使用docker的方式安装一个spark集群，这样可以在测...

在开发spark相关的应用程序的时候，我们最好使用idea软件工具，因为idea使用scala开发的时候不会很卡，这里主要是针对eclipse，在eclipse上会自动编译，开发起来写代码很卡。这篇文章我们介绍下如何...

在Eclipse里面默认是没有提供Scala的maven模板的，包括使用Scala专版的Eclipse也没有提供scala的maven模板，所以如果我们创建scala的maven项目的时候，没有相关的模板，用起来确实...

我们在前面介绍了spark相关的基础知识，这篇文章我们介绍下spark的集群安装，先把spark跑起来看一下是一个什么内容，然后再继续接着其他知识点讲解。一、准备3台服务器这里我们准备3台服务器做测试节点，分别是：序...