Flink应用开发系列（五十）Table SQL开发之create database

前面我们介绍过在flink中，整个table sql的结构是：${catalog}.${database}.${table}。这里的database其实就是数据库，和我们日常理解的数据库是一个意思。在flink ta...

Raeflink系列2023-08-21959 阅读0 评论

热文Flink应用开发系列（四十九）Table SQL开发之create catalog

在flink中catalog就是多数据源目录的意思，整个数据库的结构是：${catalog}.${database}.${table}。除了table，其他的都是默认的default。在flink中一般在数据湖领域的...

Raeflink系列2023-08-211077 阅读0 评论

热文Flink应用开发系列（四十八）Table SQL开发之create table

在flink sql开发中，我们对于数据源来说，首先需要做的就是create table，也就是创建一张表，在flink sql中关于create table的语句和传统的mysql中创建表的是不完全一样，也就是只有...

Raeflink系列2023-08-211242 阅读0 评论

热文Flink应用开发系列（四十七）Table SQL开发之group by

在Flink的table sql里面我们还可以使用分组函数进行查询，这里的分组和sql是一样的，主要是group by函数。常用的group by函数查询语法是：select ${字段},count(*) from ...

Raeflink系列2023-08-211131 阅读0 评论

Flink应用开发系列（四十六）Table SQL开发之select distinct

在flink中我们也可以使用distinct函数来对某一列进行去重的操作，查询语法如下：select distinct id from xxxx例如：select distinct id from users1...

Raeflink系列2023-08-18904 阅读0 评论

Flink应用开发系列（四十五）Table SQL开发之select + where

在flink sql中我们查询的时候可以直接使用这种where条件的方式查询，他得查询语法和使用普通的sql进行查询方式是一样的，例如：select * from users where id = 1;同时这里的wh...

Raeflink系列2023-08-18948 阅读0 评论

热文Flink应用开发系列（四十四）Table SQL开发之create table

在flink的Table API&SQL系列中，由于我们日常使用Table API这种面向对象的方式去操作数据还是比较少，大多数情况都是使用sql的方式去操作数据。因此关于table api部分的开发部分就省略掉了，...

Raeflink系列2023-08-181034 阅读0 评论

Flink应用开发系列（四十三）Table API&SQL时区

在Flink的Table API&SQLk开发的时候，我们我们了解到数据都是做成了table，然后使用sql的形式去对数据进行处理。这里我们回忆一下，使用传统的mysql的时候，我们jdbc里面是不是要传入一个时区？...

Raeflink系列2023-08-18921 阅读0 评论

Flink应用开发系列（四十二）Table API&SQL支持的数据类型

在flink的table api&sql应用程序开发中，我们知道是吧所有的数据结构抽象成了一张表table，然后使用sql的语法对数据进行处理。那么既然是sql的语法，那么整个数据结构就会有一些基本的数据类型的支持，...

Raeflink系列2023-08-18745 阅读0 评论

Flink应用开发系列（四十一）Table SQL案例

前一篇文章《Flink应用开发系列（四十）Table API案例》我们介绍了table api相关的案例，这里的话我们使用flink自带的datagen工具来演示下table sql的案例，下面直接上代码：packa...

Raeflink系列2023-08-17856 阅读0 评论

热文Flink应用开发系列（四十）Table API案例

上文《Flink应用开发系列（三十九）Table API & SQL介绍》我们介绍了一下Flink中Table API和Sql的基本概念，本文的话，我们用代码来演示一下Table API开发的相关案例，直接来上代码：...

Raeflink系列2023-08-171002 阅读0 评论

Flink应用开发系列（三十九）Table API & SQL介绍

在flink 应用程序中还有一个比较大的模块，也就是Table API & SQL模块，这个模块对于我们在实际的开发过程中来说，使用频率非常高，特别是配合Dinky 使用可以在实际的开发中极大的增加我们的开发效率。这...

Raeflink系列2023-08-17917 阅读0 评论

热文Flink应用开发系列（三十八）DataStream开发之参数读取工具类

对于有大数据开发经验的同学，应该知道，我们经常会涉及到在运行job的时候，我们可能会从命令行手动传递参数，同时也可能使用某个外部的配置文件配置参数，然后在job任务中进行数据读取。在flink中，我们经常使用到的参数...

Raeflink系列2023-08-161043 阅读0 评论

热文Flink应用开发系列（三十七）DataStream开发之异步I/O

我们在使用flink 开发应用程序的时候，有时候会涉及到这样的一些应用场景：假设从mq中获取到的数据里面只有用户id，没有用户的其他信息，但是我们的目的需要分析当前人的个人画像，那这个时候怎么办呢？看上面的需求，我们...

Raeflink系列2023-08-161074 阅读0 评论

Flink应用开发系列（三十六）DataStream开发之Watermark水位线实战

上文《Flink应用开发系列（三十五）DataStream开发之Watermark介绍》我们对水位线做了一下基础的介绍，下面我们来实现一下水位线的案例。这里我们还是以用户登录日志监控背景为需求点来实现整个代码，详细步...

Raeflink系列2023-08-16952 阅读0 评论