热文数据湖系列(二十二)Spark操作iceberg数据(hive插入数据) 上文《数据湖系列(二十一)Spark操作iceberg数据(hdfs插入数据)》我们演示了使用spark直接向hdfs写入iceberg数据的案例,本文我们再来演示spark直接向hive写入iceberg数据的案例... Rae数据仓库2024-01-251331 阅读0 评论
热文数据湖系列(二十一)Spark操作iceberg数据(hdfs插入数据) 上文《数据湖系列(二十)Iceberg+hive整合外部表使用案例》我们介绍了直接使用hive对于Iceberg的操作,本文的话我们来演示下使用Spark对Iceberg的操作。对于spark操作Iceberg来说,... Rae数据仓库2024-01-251306 阅读0 评论
热文数据湖系列(二十)Iceberg+hive整合外部表使用案例 上文《数据湖系列(十九)Iceberg+hive整合内部表使用案例》我们使用iceberg+hive的方式整合了内部表,实现了创建表,插入数据,查询数据的功能。熟悉hive的同学也能知道我们经常在使用hive的时候,... Rae数据仓库2024-01-231240 阅读0 评论
热文数据湖系列(十九)Iceberg+hive整合内部表使用案例 前面我们介绍过iceberg的信息,本文我们进入实战案例,就是结合Iceberg+hive整合方案,实现hive入湖和查湖。下面直接开始。一、首先部署hadoop和hive看过前几篇文章的同学可以知道,这里其实我们已... Rae数据仓库2024-01-231848 阅读0 评论
数据湖系列(十八)Iceberg介绍 前面我们介绍了hudi相关的数据湖信息,介绍的算是比较少的,主要是因为hudi我用的不多,并且hudi主要和spark的兼容性会比较强一点,个人感觉使用局限性比较大。所以hudi相关的信息介绍确实比较少一点,这里的话... Rae数据仓库2024-01-23802 阅读0 评论