Spark学习（十四）把spark应用程序提交到spark集群里面去运行
之前的文章我们介绍了spark的wordcount应用程序开发，同时也把spark的wordcount应用程序修改为从hdfs上读取和写入，这篇文章我们介绍下如何把spark应用程序提交到spark集群里面运行。一、...
Rae
Spark学习（十三）spark应用程序开发之使用hdfs读写文件
在前面我们介绍了使用scala开发一个spark的wordcount程序，当时读取的是本地，最后结果是打印出来，现在我们把这个文件上传到hdfs上，然后通过hdfs进行读写文件。（写这篇文章主要是为了写下一篇spar...
Spark学习（十二）使用scala编写第一个spark应用程序-HelloWord
在IT界学习一个技术，编写的第一个应用程序就是HelloWord，因此在这里，我们使用scala编写以第一个spark应用程序:helloword。备注：这里我们主要演示使用scala编写一个spark的wordco...
Spark学习（十一）Idea配置scala的环境，并且添加maven的scala项目模板
在开发spark相关的应用程序的时候，我们最好使用idea软件工具，因为idea使用scala开发的时候不会很卡，这里主要是针对eclipse，在eclipse上会自动编译，开发起来写代码很卡。这篇文章我们介绍下如何...
Spark学习（十）Spark集群安装
我们在前面介绍了spark相关的基础知识，这篇文章我们介绍下spark的集群安装，先把spark跑起来看一下是一个什么内容，然后再继续接着其他知识点讲解。一、准备3台服务器这里我们准备3台服务器做测试节点，分别是：序...
Spark学习（九）Spark应用程序介绍
在spark的开发中，我们一般会开发对应的应用程序，这里我们一般把他称为是一个application或者job。一个应用程序里面包含自己当前应用程序所需要操作的所有逻辑。在应用程序开发完毕之后，我们需要把这个应用程序...
Spark学习（八）Spark集群的资源管理系统
spark从本质上来说算是一个分布式系统，因此我们经常听说spark集群这个词，在整个spark中，有自己的资源管理系统，当然也可以使用外部的资源管理系统例如：apache yarn或者是apache mesos系统...
