在spark sql中,整个spark sql的架构图如下:

从上图中我们可以看到可以分为3层,分别是:语言API层。下面分别介绍一下:
语言API层
spark支持python,HiveQL,Scala,Java等编程语言语言
SchemaRDD层
由于spark sql工作在模式、表和记录上,所以可以使用SchemaRDD或者DataFrame作为临时表
数据源层
对应Spark core,数据源通常是一个文本文件、Avro 文件等。而 Spark SQL 的数据源通常是 JSON 文档、Parquet 文件、HIVE 表和 Cassandra 数据库等。
职场就是一场游戏,但游戏不是人生的全部。别太纠结眼前的得失,也别总被焦虑绑住。努力让自己积累更多底气吧,未来的你一定会感谢现在的自己。因为那个时候,你会发现,人生的主动权,终于掌握在自己手里了。
-- 展开阅读全文 --
还没有评论,来说两句吧...