Flink应用开发系列(六十八)FlinkCDC整库同步doris(支持表结构动态变更) 现如今大部分ToC的业务中都会有一些建数仓的需求,所以对于流批一体化建设数仓的需求非常多。目前建立流批一体化的数仓方案主要以Flinkcdc+doris为主(大多数企业目前几乎都在使用此方案)。所以这里我们也来介绍下... Rae /flink系列 /2023-12-08 /0 评论 /215 阅读
Dinky 实时计算平台系列(二十二)FlinkSql作业开发之FlinkSql-cdc + doris 在日常的业务场景中,我们使用flink做cdc的工作的时候,大多数都有这样的需求,把mysql的数据近视的导入到doris中做分析。为了方便简写代码,这里我们使用Dinky来演示下把mysql的数据使用cdc同步到d... Rae /flink系列 /2023-09-05 /0 评论 /453 阅读
Flink应用开发系列(六十七)Table SQL开发之delete函数 在flink table sql中我们操作的是table表的数据,所以在日常的场景中也会涉及到delete删除数据语句,这里比较简单,和传统的mysql是一样的,示例语句如下:DELETE FROM&nbs... Rae /flink系列 /2023-08-24 /0 评论 /338 阅读
Flink应用开发系列(六十六)Table SQL开发之update函数 在flink table sql中我们操作的是table表的数据,所以在日常的场景中也会涉及到update更新语句,这里比较简单,和传统的mysql是一样的,示例语句如下:UPDATE Orders&nbs... Rae /flink系列 /2023-08-24 /0 评论 /232 阅读
Flink应用开发系列(六十五)Table SQL开发之添加依赖包 在flink环境中,我们有时候由于不能重启整个flink集群,但是由于job作业的原因需要把对应的jar包添加到flink的执行环境中去,怎么办呢?这里在flink table sql 官方里面提供了jar相关的函数... Rae /flink系列 /2023-08-24 /0 评论 /229 阅读
Flink应用开发系列(六十四)Table SQL开发之set函数 在flink table sql中,我们经常会涉及到set一些东西,例如:SET execution.checkpointing.interval = 3s;示例图如下:关于set的话,... Rae /flink系列 /2023-08-24 /0 评论 /214 阅读
Flink应用开发系列(六十三)Table SQL开发之load函数和unload函数 在flink table sql中我们还有一些场景,例如我们要在flink中对接hive执行相关的sql信息,此时就需要把hive的模块给引入进来,就需要使用到load函数,整个load函数的基础语法如下:LOAD&... Rae /flink系列 /2023-08-24 /0 评论 /193 阅读
Flink应用开发系列(六十二)Table SQL开发之show函数 在flink table sql开发中还有一个我们常用的函数就是show,这里的show主要是为了查看某些信息,例如查看某个多数据源目录,某张表等等。这个show函数在传统的mysql中使用比较少,但是在大数据的场景... Rae /flink系列 /2023-08-24 /0 评论 /206 阅读
Flink应用开发系列(六十一)Table SQL开发之explain函数 在传统的mysql中,当我们涉及到sql优化的时候,我们经常使用expalin这个函数来对sql进行分析,在flink table sql中我们照样也有这个explain函数,这个explain函数也是为了方便分析s... Rae /flink系列 /2023-08-24 /0 评论 /200 阅读
Flink应用开发系列(六十)Table SQL开发之describe函数 在flink table sql里面的describe语句其实和mysql的语句是一样的,就是查看某个表结构,例如:describe users;desc users;这里我们可以同时使用de... Rae /flink系列 /2023-08-24 /0 评论 /246 阅读