热文数据湖系列（二十六）Flink sql近实时写入iceberg

前面我们介绍了使用spark近实时写把kafka的数据写入iceberg，本文的话，我们使用flink sql的形式来把kafka的数据近实时写入到iceberg里面去。在flink中，这种写入其实主要是依赖于kaf...

Rae数据仓库2024-01-311461 阅读0 评论

热文数据湖系列（二十五）Flink sql操作iceberg数据

前面我们演示了使用spark操作iceberg的数据，接着我们就来演示下flink操作iceberg数据。flink操作iceberg数据的形式主要有两种，分别是：1、datastream 2、flink sql现如...

Rae数据仓库2024-01-311160 阅读0 评论

热文数据湖系列（十七）Flink写入数据到Hudi

前面我们演示了使用spark写入数据相关的方案，然后使用hive查询。现如今flink比较流行，所以我们再来演示一个Flink把数据写入Hudi的案例。重要说明1、目前感觉Flink对于hudi的支持还不太好。我这边...

Rae数据仓库2024-01-221311 阅读0 评论

热文【分享】Flink/Doris生产环境方案选型的一些思考

各位总监，技术负责人，架构师们大家好。今天的文章有点短，是一些个人思考，仅做记录。以Flink为主的计算组件和以Doris为代表的存储+计算一体的方案选择问题是我们在技术选型过程中最常见的问题之一。也是很多公司和业务...

Rae大数据2024-01-101134 阅读0 评论

热文Flink应用开发系列（六十八）FlinkCDC整库同步doris(支持表结构动态变更)

现如今大部分ToC的业务中都会有一些建数仓的需求，所以对于流批一体化建设数仓的需求非常多。目前建立流批一体化的数仓方案主要以Flinkcdc+doris为主（大多数企业目前几乎都在使用此方案）。所以这里我们也来介绍下...

Raeflink系列2023-12-082337 阅读0 评论