Dinky 实时计算平台系列(二十三)Dinky0.x版本升级到1.0版本的踩坑之路 最近Dinky1.0版本发布了,在这里详细记录下对应的踩坑之路。本文档会进行长期持续的更新。1)jdk问题这里我服务器安装的jdk的版本,但是启动的时候报错了,提示:Unrecognized VM option ... Rae /flink系列 /2024-03-20 /0 评论 /304 阅读
请问paimon-flink-action-0.7.0-incubating.jar写入数据中文乱码怎么处理呢?? 请问paimon-flink-action-0.7.0-incubating.jar写入数据中文乱码怎么处理呢??... 帅平 /大数据 /2024-02-29 /1 评论 /104 阅读
数据湖系列(二十六)Flink sql近实时写入iceberg 前面我们介绍了使用spark近实时写把kafka的数据写入iceberg,本文的话,我们使用flink sql的形式来把kafka的数据近实时写入到iceberg里面去。在flink中,这种写入其实主要是依赖于kaf... Rae /数据仓库 /2024-01-31 /0 评论 /332 阅读
数据湖系列(二十五)Flink sql操作iceberg数据 前面我们演示了使用spark操作iceberg的数据,接着我们就来演示下flink操作iceberg数据。flink操作iceberg数据的形式主要有两种,分别是:1、datastream2、flink ... Rae /数据仓库 /2024-01-31 /0 评论 /304 阅读
数据湖系列(十七)Flink写入数据到Hudi 前面我们演示了使用spark写入数据相关的方案,然后使用hive查询。现如今flink比较流行,所以我们再来演示一个Flink把数据写入Hudi的案例。重要说明1、目前感觉Flink对于hudi的支持还不太好。我这边... Rae /数据仓库 /2024-01-22 /0 评论 /287 阅读
【分享】Flink/Doris生产环境方案选型的一些思考 各位总监,技术负责人,架构师们大家好。今天的文章有点短,是一些个人思考,仅做记录。以Flink为主的计算组件和以Doris为代表的存储+计算一体的方案选择问题是我们在技术选型过程中最常见的问题之一。也是很多公司和业务... Rae /大数据 /2024-01-10 /0 评论 /381 阅读