什么场景下选择Paimon/Iceberg/Hudi/Delta Lake? 什么场景下选择Paimon/Iceberg/Hudi/Delta Lake?... 帅平面试刷题2025-05-26468 阅读1 评论
hudi的hoodie.clean.automatic自动清理只会清理数据文件吗? 谁用过hudi?hudi的hoodie.clean.automatic自动清理只会清理数据文件吗?.hoodi目录下的文件会不会也给清理掉?... Rae大数据2025-03-10613 阅读1 评论
doris查询hudi的时候报错,提示:Could not initialize class org.apache.hudi.common.bootstrap.index.HFileBootstrap doris查询hudi的时候报错,提示: Could not initialize class org.apache.hudi.common.bootstrap.index.HFileBootstrapIndex怎么... 帅平数据库2024-12-19559 阅读1 评论
热文数据湖系列(十七)Flink写入数据到Hudi 前面我们演示了使用spark写入数据相关的方案,然后使用hive查询。现如今flink比较流行,所以我们再来演示一个Flink把数据写入Hudi的案例。重要说明1、目前感觉Flink对于hudi的支持还不太好。我这边... Rae数据仓库2024-01-221388 阅读0 评论
热文数据湖系列(十六)Hive集成现有Hudi库表方案 上一篇文章《数据湖系列(十五)spark+hive+Hudi整合方案之插入数据》我们介绍了使用spark写入hudi的数据,同时在spark程序中集成hive的元数据信息,当spark把所有数据都写入到hudi的时候... Rae大数据2024-01-221248 阅读0 评论
热文Hive执行的时候报错:Got runtime exception when hive syncing users 今天在编写spark程序的时候,需要写入hudi并且关联到hive中,结果报错了,提示: org.apache.hudi.exception.HoodieMetaSyncException: Could not sy... 帅平大数据2024-01-191151 阅读1 评论
热文数据湖系列(十五)spark+hive+Hudi整合方案之插入数据 前面我们主要介绍是关于spark写入数据到Hudi的方案,每次在演示查询的时候,数据都是使用spark进行读取的,这样非常不方便。在数仓的情形中,hive是一个使用非常广泛的技术,所以在这里我们整合以下spark+h... Rae数据仓库2024-01-191614 阅读0 评论
热文数据湖系列(十四)spark删除Apache Hudi数据 增删改查一般都是属于一套模式,前面我们已经演示了使用spark向hudi种插入,查询,修改数据的案例。本文的话我们来演示使用spark删除hudi的数据。一、普通删除数据这里的删除数据主要是常用的delete,也就是... Rae数据仓库2024-01-181560 阅读0 评论
热文数据湖系列(十三)spark增量查询Apache Hudi数据 在实际的工作中,大家会遇到一个问题,就是比如我现在有一个业务系统,在某一刻发了一个新的版本,但是在线上运行的时候由于提交的代码有某个bug,导致数据库的数据从发版之后就出现了问题。此时我们就需要做的是:1、修改程序b... Rae数据仓库2024-01-181166 阅读0 评论