热文Apache Paimon系列(六)Paimon搭配hive使用 在前面我们单独演示了一个paimon的案例,然后我们会发现去查询数据的时候继续使用flink,如果paimon中的数据需要对外提供服务,那此时我们使用flink去查就不合适了,因此在实际的场景中,这里的paimon和... Rae2023-09-061126 阅读0 评论
热文Apache Paimon系列(五)查询Paimon中的数据 在上一篇文章《Apache Paimon系列(四)使用Dinky编写Paimon的案例》我们介绍了dinky上编写paimon作业,在文章的最后我们可以看到dinky上无法显示paimon中查询出来的数据,所以这块的... Rae2023-09-061024 阅读0 评论
热文Apache Paimon系列(四)使用Dinky编写Paimon的案例 在前面我们介绍了Paimon是一个数据湖的框架,并且需要有底层分布式文件系统的支撑,所以对于这块的话,我们一般选择hdfs座位底层的存储。本文我们使用Dinky+Flink Table Sql+Paimon+hdfs... Rae2023-09-061294 阅读0 评论
热文Apache Paimon系列(三)Paimon数据文件存储介绍 在前面的文章我们介绍过paimon是使用LSM树的形式吧文件以列式的方式存储在分布式文件系统(例如:hdfs)或者对象存储(例如:oss,s3)里面的。所以本文我们介绍下Paimon数据文件存储的部分。在Paimon... Rae2023-07-131298 阅读0 评论
Apache Paimon系列(二)Painmon三大常用术语 上一篇文章《Apache Paimon系列(一)Paimon介绍》我们介绍了paimon相关的一些基础知识,本文的话,我们介绍下在paimon使用过程中经常使用到的3大术语,这三大术语分别是:快照分区桶相信接... Rae2023-07-13931 阅读0 评论
热文Apache Paimon系列(一)Paimon介绍 Paimon介绍在前面我们介绍过一些目前主流的数据湖相关的平台技术,例如:HudiIcebergDelta Lake这几个数据湖的技术上来说,Hudi目前在国内比较火,大家探讨或者平时接触的也会比较... Rae2023-07-131645 阅读0 评论