热文数据湖系列（二十六）Flink sql近实时写入iceberg

前面我们介绍了使用spark近实时写把kafka的数据写入iceberg，本文的话，我们使用flink sql的形式来把kafka的数据近实时写入到iceberg里面去。在flink中，这种写入其实主要是依赖于kaf...

Rae数据仓库2024-01-311552 阅读0 评论

热文数据湖系列（二十五）Flink sql操作iceberg数据

前面我们演示了使用spark操作iceberg的数据，接着我们就来演示下flink操作iceberg数据。flink操作iceberg数据的形式主要有两种，分别是：1、datastream 2、flink sql现如...

Rae数据仓库2024-01-311248 阅读0 评论

热文数据湖系列（十七）Flink写入数据到Hudi

前面我们演示了使用spark写入数据相关的方案，然后使用hive查询。现如今flink比较流行，所以我们再来演示一个Flink把数据写入Hudi的案例。重要说明1、目前感觉Flink对于hudi的支持还不太好。我这边...

Rae数据仓库2024-01-221402 阅读0 评论

热文【分享】Flink/Doris生产环境方案选型的一些思考

各位总监，技术负责人，架构师们大家好。今天的文章有点短，是一些个人思考，仅做记录。以Flink为主的计算组件和以Doris为代表的存储+计算一体的方案选择问题是我们在技术选型过程中最常见的问题之一。也是很多公司和业务...

Rae大数据2024-01-101226 阅读0 评论

热文flinkcdc和flink是一个吗?

flinkcdc和flink是一个吗?...

帅平大数据2023-12-151117 阅读1 评论

flink cdc是干啥的？

flink cdc是干啥的？...

帅平大数据2023-12-15843 阅读1 评论

Flink cdc 中cdc什么意思？

Flink cdc 中cdc什么意思？...

帅平大数据2023-12-15817 阅读1 评论

热文Flink应用开发系列（六十八）FlinkCDC整库同步doris(支持表结构动态变更)

现如今大部分ToC的业务中都会有一些建数仓的需求，所以对于流批一体化建设数仓的需求非常多。目前建立流批一体化的数仓方案主要以Flinkcdc+doris为主（大多数企业目前几乎都在使用此方案）。所以这里我们也来介绍下...

Raeflink系列2023-12-082444 阅读0 评论

热文Flink cdc运行的时候找不到对应的表：Can't find any matched tables, please check your configured database-name

Flink cdc运行的时候找不到对应的表，提示： Caused by: java.lang.IllegalArgumentException: Can't find any matched tables, plea...

帅平大数据2023-12-071562 阅读1 评论

热文运行flink任务的时候提示：Could not perform checkpoint 1 for operator Source

运行flink任务的时候报错了，错误信息提示如下： java.lang.Exception: Could not perform checkpoint 1 for operator Source: MySQL Sou...

帅平大数据2023-12-071799 阅读1 评论

请问一下，，flinkcdc 实时同步，延时4-5秒，正常不？ 还有大的优化空间不

请问一下，，flinkcdc 实时同步，延时4-5秒，正常不？还有大的优化空间不...

帅平大数据2023-12-06696 阅读1 评论

decimalv3(10, 2) datetimev2(6)在flink sql中应该用什么数据类型替换呢

decimalv3(10, 2) datetimev2(6)在flink sql中应该用什么数据类型替换呢...

帅平大数据2023-12-06763 阅读1 评论

热文Flink数据倾斜的问题如何处理？

Flink数据倾斜的问题如何处理？...

帅平面试刷题2023-11-201028 阅读1 评论

Flink如何定位数据倾斜的问题？

Flink如何定位数据倾斜的问题？...

帅平面试刷题2023-11-20764 阅读1 评论

Flink出现数据倾斜的原因有哪些？

Flink出现数据倾斜的原因有哪些？...

帅平面试刷题2023-11-20763 阅读1 评论