数据湖系列(二十六)Flink sql近实时写入iceberg 前面我们介绍了使用spark近实时写把kafka的数据写入iceberg,本文的话,我们使用flink sql的形式来把kafka的数据近实时写入到iceberg里面去。在flink中,这种写入其实主要是依赖于kaf... Rae /数据仓库 /2024-01-31 /0 评论 /316 阅读
数据湖系列(二十五)Flink sql操作iceberg数据 前面我们演示了使用spark操作iceberg的数据,接着我们就来演示下flink操作iceberg数据。flink操作iceberg数据的形式主要有两种,分别是:1、datastream2、flink ... Rae /数据仓库 /2024-01-31 /0 评论 /298 阅读
数据湖系列(二十四)Spark Structured Streaming近实时写入iceberg(JSON版本) 上文《数据湖系列(二十三)Spark Structured Streaming近实时写入iceberg(分隔符版本)》我们介绍了从kafka里面接收分隔符版本的示例数据,然后把数据写入到iceberg里面。但是由于分... Rae /数据仓库 /2024-01-31 /0 评论 /188 阅读
数据湖系列(二十三)Spark Structured Streaming近实时写入iceberg(分隔符版本) 前面我们演示了spark写入iceberg数据的问题,这里的话我们进入实战的阶段。在实际的过程中,我们经常会涉及到实时流的方式把数据写入到iceberg的需求,整体流程如下:这里我们使用spark的方式来演示下这里的... Rae /数据仓库 /2024-01-25 /0 评论 /222 阅读