前面我们介绍了hudi相关的数据湖信息,介绍的算是比较少的,主要是因为hudi我用的不多,并且hudi主要和spark的兼容性会比较强一点,个人感觉使用局限性比较大。所以hudi相关的信息介绍确实比较少一点,这里的话我们推荐一个其他比较好用的数据湖-iceberg。
Iceberg作为数据湖,他使用起来也比较方便,主要是table fromat形式。他的底层文件存储目前我们大多使用的还是hdfs,而且不管是和哪个组件(hive,flink,spark等)结合起来使用都非常的简单。所以Iceberg和Paimon是目前我们主推大家使用的数据湖。
关于Iceberg相关的基础信息,大家可以查看如下的文章:
还没有评论,来说两句吧...