Paimon 分区表可以直接用spark-sql drop 分区吗? 咨询下,Paimon 分区表可以直接用spark-sql drop 分区吗?这应该不行吧。我看官方文档中只有一个Expiring Partitions。... 帅平大数据2023-07-25716 阅读1 评论
热文请问下paimon作为纬度表时,数据每天有更新,已经运营的任务怎么触发paimon数据也更新 请问下paimon作为纬度表时,数据每天有更新,已经运营的任务怎么触发paimon数据也更新,现在发现关联上的paimon维度表数据都是旧的... 帅平大数据2023-07-251159 阅读1 评论
各位老师,paimon log.system = kafka 。需要引入flink-connector-kafka 依赖吗? 各位老师,paimon log.system = kafka 。需要引入flink-connector-kafka 依赖吗?... 帅平大数据2023-07-18929 阅读1 评论
请教下怎么方便的查询paimon数据呢?除了flinksession的方式 请教下怎么方便的查询paimon数据呢?除了flinksession的方式... 帅平大数据2023-07-18897 阅读2 评论
各位老师 streaming-read-mode = log 这个参数是在创建表指定的时候,后续读才生效吗? 各位老师 streaming-read-mode = log 这个参数是在创建表指定的时候,后续读才生效吗?... 帅平大数据2023-07-18695 阅读1 评论
paimon开启双写后,snaphost 生成个数以及速度都比文件写高出很多,这个是正常的吗 各位老师,我开启双写后, snaphost 生成个数以及速度都比文件写高出很多,这个是正常的吗... 帅平大数据2023-07-18688 阅读1 评论
热文Apache Paimon系列(三)Paimon数据文件存储介绍 在前面的文章我们介绍过paimon是使用LSM树的形式吧文件以列式的方式存储在分布式文件系统(例如:hdfs)或者对象存储(例如:oss,s3)里面的。所以本文我们介绍下Paimon数据文件存储的部分。在Paimon... RaePaimon系列2023-07-132799 阅读0 评论
热文Apache Paimon系列(二)Painmon三大常用术语 上一篇文章《Apache Paimon系列(一)Paimon介绍》我们介绍了paimon相关的一些基础知识,本文的话,我们介绍下在paimon使用过程中经常使用到的3大术语,这三大术语分别是:快照 分区 桶相信接触过... RaePaimon系列2023-07-131809 阅读0 评论
热文Apache Paimon系列(一)Paimon介绍 Paimon介绍在前面我们介绍过一些目前主流的数据湖相关的平台技术,例如:Hudi Iceberg Delta Lake这几个数据湖的技术上来说,Hudi目前在国内比较火,大家探讨或者平时接触的也会比较多一点,Ice... RaePaimon系列2023-07-133214 阅读0 评论