作者 Rae 发布的文章

在前面我们大部分篇幅都介绍的是dataframe，这篇文章我们介绍下dataset。dataset是spark1.6开始提供的函数编程API，在spark2.x之后，spark把dataset和dataframe给融...

在实际的spark应用程序开发中，我们对于dataframe进行各种操作之后会得到本业务的最终数据，此时那么我们肯定是需要把数据存储起来，那么DataFrame如何做存储呢？第一种方式：存储到文件在前面的案例里面，我...

在前面我们介绍了spark sql其实操作的主要是DataFrame，那么对于DataFrame有哪些API供操作呢？下面列举一下：序号函数含义示例1select查询数据val usersDF = sc.parall...

在spark sql中，我们知道操作的数据都是DataFrame，因此从这篇文章开始，我们介绍几种创建DataFrame的方式，这篇文章介绍从文件中读取数据创建DataFrame。其实从文件中读取文件创建DataFr...

在spark sql中，我们知道操作的数据都是DataFrame，因此从这篇文章开始，我们介绍几种创建DataFrame的方式，这篇文章介绍从RDD中创建DataFrame。从RDD中创建dataframe一共会出现...

在spark sql中，我们知道操作的数据都是DataFrame，因此从这篇文章开始，我们介绍几种创建DataFrame的方式，这篇是第一篇，介绍从元组中创建DataFrame。下面来演示一下：package org...

在前面我们演示sparksql读取json文件和csv文件的时候，我们了解到json文件会自动映射schema，但是在csv格式的文件或者其他text文件的时候，有时候是没有字段名的，首行就是数据，那么在读取的时候，...

在前面我们介绍了在操作spark sql的时候使用的是DataFrame数据结构。整个DataFrame可以看作是在内存中的一个表。那么对于数据表，每一个字段应该都有类型，因此这里我们列举下DataFrame支持哪些...

在spark2.x之后，我们知道所有的入口类都是从SparkSession开始的，因此在编写spark应用程序的时候，首先第一步就是创建SparkSession。在前面的案例里面我们介绍编写的用例非常的简单，但是在真...

在前面的演示案例里面，我们介绍了编写一个简单的spark sql，同时也介绍过读取csv或者json格式很方便，所以这篇文章我们介绍下spark sql读取csv和json格式的数据源。一、读取json格式在spar...

在spark中，前面的系列操作可以让我们自由的操作各种rdd的数据，从本篇文章开始，我们开始介绍更加简化理解和开发的模块，即Spark Sql数据抽象。Spark Sql可以看作是把以前的rdd再进行了一次抽象，即我...

在使用spark的场景里面，二次排序是我们经常会使用到的应用场景，那么什么是二次排序呢？二次排序就是类似把key-value pair的rdd首先根据key进行排序，再根据value进行排序。这个案例我们介绍根据sp...

在spark的场景里面我们有时候会遇到很多场景，例如不同的客户端收集的日志都保存到对应client目录里面，此时如果我们分析的时候，日志文件都分布在不同的目录里面，而且可能由于写文件的规则产生很多个小文件，那有没有办...