几十TB的数据是用doris 好还是Hive 好呢。 中间需要进行join计算,结果表用来查询。 几十TB的数据是用doris 好还是Hive 好呢。 中间需要进行join计算,结果表用来查询。... 帅平2024-07-27259 阅读1 评论
执行hive命令报错,提示:Hive metastore database is not initialized 执行hive命令报错,提示:FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoo... 帅平2024-03-22377 阅读1 评论
各位有做过doris数据同步到 hive吗? 表数据比较大时候 用datax 这种是不是会影响到doris 的稳定性呀 各位有做过doris数据同步到 hive吗? 表数据比较大时候 用datax 这种是不是会影响到doris 的稳定性呀... 帅平2024-02-18471 阅读1 评论
数据湖系列(二十二)Spark操作iceberg数据(hive插入数据) 上文《数据湖系列(二十一)Spark操作iceberg数据(hdfs插入数据)》我们演示了使用spark直接向hdfs写入iceberg数据的案例,本文我们再来演示spark直接向hive写入iceberg数据的案例... Rae2024-01-25656 阅读0 评论
数据湖系列(二十)Iceberg+hive整合外部表使用案例 上文《数据湖系列(十九)Iceberg+hive整合内部表使用案例》我们使用iceberg+hive的方式整合了内部表,实现了创建表,插入数据,查询数据的功能。熟悉hive的同学也能知道我们经常在使用hive的时候,... Rae2024-01-23606 阅读0 评论
数据湖系列(十九)Iceberg+hive整合内部表使用案例 前面我们介绍过iceberg的信息,本文我们进入实战案例,就是结合Iceberg+hive整合方案,实现hive入湖和查湖。下面直接开始。一、首先部署hadoop和hive看过前几篇文章的同学可以知道,这里其实我们已... Rae2024-01-23708 阅读0 评论
数据湖系列(十六)Hive集成现有Hudi库表方案 上一篇文章《数据湖系列(十五)spark+hive+Hudi整合方案之插入数据》我们介绍了使用spark写入hudi的数据,同时在spark程序中集成hive的元数据信息,当spark把所有数据都写入到hudi的时候... Rae2024-01-22570 阅读0 评论