热文Flink CDC实战系列(三)Flink cdc 把mysql数据写入到clickhouse 上文《Flink CDC实战系列(二)Flink cdc 把mysql数据写入到kafka》我们已经介绍了使用flink cdc把数据从mysql写入到kafka。本文的话我们介绍下使用flink cdc把数据从my... Raeflink系列2024-03-201078 阅读1 评论
热文Flink CDC实战系列(二)Flink cdc 把mysql数据写入到kafka 上文《Flink CDC实战系列(一)Flink cdc 把mysql数据写入到elasticsearch》我们已经介绍了使用flink cdc把数据从mysql写入到elasticsearch。本文的话我们介绍下使... Raeflink系列2024-03-201079 阅读0 评论
Dinky 实时计算平台系列(二十三)Dinky0.x版本升级到1.0版本的踩坑之路 最近Dinky1.0版本发布了,在这里详细记录下对应的踩坑之路。本文档会进行长期持续的更新。1)jdk问题这里我服务器安装的jdk的版本,但是启动的时候报错了,提示:Unrecognized VM option ... Raeflink系列2024-03-20967 阅读0 评论
热文Flink CDC实战系列(一)Flink cdc 把mysql数据写入到elasticsearch 目前做数据仓库相关的工作中,我们涉及到大量的使用flink cdc把数据同步到各个数据环境中。所以基于此我们来编写一个常见的flink cdc使用示例,方便大家在使用的时候直接开箱即用即可。本文我们主要介绍的是使用f... Raeflink系列2024-03-191135 阅读0 评论
热文Flink应用开发系列(六十八)FlinkCDC整库同步doris(支持表结构动态变更) 现如今大部分ToC的业务中都会有一些建数仓的需求,所以对于流批一体化建设数仓的需求非常多。目前建立流批一体化的数仓方案主要以Flinkcdc+doris为主(大多数企业目前几乎都在使用此方案)。所以这里我们也来介绍下... Raeflink系列2023-12-081625 阅读0 评论
热文Dinky 实时计算平台系列(二十二)FlinkSql作业开发之FlinkSql-cdc + doris 在日常的业务场景中,我们使用flink做cdc的工作的时候,大多数都有这样的需求,把mysql的数据近视的导入到doris中做分析。为了方便简写代码,这里我们使用Dinky来演示下把mysql的数据使用cdc同步到d... Raeflink系列2023-09-051609 阅读0 评论
热文Flink应用开发系列(六十七)Table SQL开发之delete函数 在flink table sql中我们操作的是table表的数据,所以在日常的场景中也会涉及到delete删除数据语句,这里比较简单,和传统的mysql是一样的,示例语句如下:DELETE FROM&nbs... Raeflink系列2023-08-241009 阅读0 评论
Flink应用开发系列(六十六)Table SQL开发之update函数 在flink table sql中我们操作的是table表的数据,所以在日常的场景中也会涉及到update更新语句,这里比较简单,和传统的mysql是一样的,示例语句如下:UPDATE Orders&nbs... Raeflink系列2023-08-24775 阅读0 评论
Flink应用开发系列(六十五)Table SQL开发之添加依赖包 在flink环境中,我们有时候由于不能重启整个flink集群,但是由于job作业的原因需要把对应的jar包添加到flink的执行环境中去,怎么办呢?这里在flink table sql 官方里面提供了jar相关的函数... Raeflink系列2023-08-24760 阅读0 评论
Flink应用开发系列(六十四)Table SQL开发之set函数 在flink table sql中,我们经常会涉及到set一些东西,例如:SET execution.checkpointing.interval = 3s;示例图如下:关于set的话,... Raeflink系列2023-08-24755 阅读0 评论
Flink应用开发系列(六十三)Table SQL开发之load函数和unload函数 在flink table sql中我们还有一些场景,例如我们要在flink中对接hive执行相关的sql信息,此时就需要把hive的模块给引入进来,就需要使用到load函数,整个load函数的基础语法如下:LOAD&... Raeflink系列2023-08-24578 阅读0 评论
Flink应用开发系列(六十二)Table SQL开发之show函数 在flink table sql开发中还有一个我们常用的函数就是show,这里的show主要是为了查看某些信息,例如查看某个多数据源目录,某张表等等。这个show函数在传统的mysql中使用比较少,但是在大数据的场景... Raeflink系列2023-08-24531 阅读0 评论
Flink应用开发系列(六十一)Table SQL开发之explain函数 在传统的mysql中,当我们涉及到sql优化的时候,我们经常使用expalin这个函数来对sql进行分析,在flink table sql中我们照样也有这个explain函数,这个explain函数也是为了方便分析s... Raeflink系列2023-08-24521 阅读0 评论
Flink应用开发系列(六十)Table SQL开发之describe函数 在flink table sql里面的describe语句其实和mysql的语句是一样的,就是查看某个表结构,例如:describe users;desc users;这里我们可以同时使用de... Raeflink系列2023-08-24688 阅读0 评论
Flink应用开发系列(五十九)Table SQL开发之analyze函数 在flink的table sql中analyze函数主要是用来做分析统计的,主要是统计表的信息,目前整个analyze函数主要应用于batch模式不能用于流模式,同时只能应用于表,不能应用于视图等。整个analyze... Raeflink系列2023-08-24668 阅读0 评论
Flink应用开发系列(五十八)Table SQL开发之insert函数 在flink中我们还会涉及到经常插入数据的操作,在flink中我们使用insert的场景有如下2种情况:1、使用select把数据插入到对应的表中。2、直接insert数据到对应的表中。前置:对应使用insert... Raeflink系列2023-08-24580 阅读0 评论
Flink应用开发系列(五十七)Table SQL开发之alter函数 在flink table sql中还有涉及到的alter函数,这里的alter主要是涉及到对原有的对象进行修改,目前在flink中支持的alter对象有:#修改表alter table#修改视图... Raeflink系列2023-08-24644 阅读0 评论
HLL_UNION是agg表的列属性,unique不支持