全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

如何在dinky中使用flink jar执行flink cdc任务？

提问者：帅平问题分类：大数据

Flink FlinkCdc Dinky

发布于：1天前 IP属地：

2 个回答

小xの碎碎念

整体步骤如下：
1、下载依赖包

这里以flink1.19版本作为演示，需要下载的包如下：
#doris依赖 
flink-doris-connector-1.19-24.0.0.jar
#cdc依赖 
flink-sql-connector-mysql-cdc-3.2.0.jar
#mysql依赖 
mysql-connector-j-8.2.0.jar
上述依赖下载完成后，除了flink-doris-connector-1.19-24.0.0.jar以外，其余jar包放到dinky的依赖目录下（dinky/extends 或者 docker部署的customJar下面），记得flink集群也要放。之后重启 Dinky 与 Flink。

2、注册flink集群

3、点击自愿上传Doris jar包

4、检查包是否上传完毕

5、新建任务，选择Flink jar任务(一定要建立 Flink Jar任务，千万不要建立Flink Sql任务)

发布于：1天前 IP属地：

孤居

6、编写执行代码

-- checkpoint设置，不写会出现数据无法写入情况
SET 'execution.checkpointing.interval' = '30s';
EXECUTE JAR WITH (
  -- 这里对应的就是我们刚刚在资源上传的Jar包
'uri'='rs:///flink-doris-connector-1.19-24.0.0.jar',
'main-class'='org.apache.doris.flink.tools.cdc.CdcTools',
'args'='    mysql-sync-database
    --database app_db
    --mysql-conf hostname=192.168.1.68
    --mysql-conf port=3306
    --mysql-conf username=root
    --mysql-conf password=123456
    --mysql-conf database-name=app_db
    --mysql-conf server-time-zone=UTC
    --including-tables "orders"
    --sink-conf fenodes=192.168.1.68:8030
    --sink-conf username=root
    --sink-conf jdbc-url=jdbc:mysql://192.168.1.68:9030
    --sink-conf sink.label-prefix=label-2
    --table-conf replication_num=1 '
);

这里记得把IP替换掉。
7、验证执行

8、查看任务状态

9、doris验证数据

发布于：1天前 IP属地：

我来回答