最近在写paimon相关的文档,由于paimon与flink关联性比较强,因此这里在中间做一个小插曲,也就是介绍下这个Dlink。
相信正在做大数据开发相关的同学,都比较清楚这个Dlink神器,这是一个在日常工作中使用频率非常高的实时计算平台,他融合了开发,测试,运维这一体系相关的功能,使我们可以不用再频繁的创建maven项目来编写flink相关的代码了。本文的话,我们介绍下这个Dinky实时计算平台。
Dinky是什么?
Dinky其实可以看做是一个国内的个人开源项目,但是他的影响力确实非常大的,git地址是:Dinky代码地址。Dinky的官网是:Dinky官网。从官网的介绍来看,Dinky是什么呢?我们来看一下:
实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑。 Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。
Dinky的核心特点
上面我们提到Dinky是一个实时计算平台,同时与Flink进行绑定,那么他有什么特点呢?下面来介绍一下:
支持 Flink 原生语法、连接器、UDF 等: 几乎零成本将 Flink 作业迁移至 Dinky。 增强 FlinkSQL 语法: 表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并等。 支持 Flink 多版本: 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi。 支持外部数据源的 DB SQL 操作: 如 ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks 等。 支持实时任务运维: 作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等。
Dinky有哪些功能?
这里Dinky有5个核心的特点,那么这里肯定会有很多功能的,到底有哪些功能呢?下面来列举一下:
沉浸式 FlinkSQL 数据开发:自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等 支持 FlinkSQL 多版本开发及多种执行模式:Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application 支持 Apache Flink 生态:Connector、FlinkCDC、Table Store 等 支持 FlinkSQL 语法增强:表值聚合函数、全局变量、执行环境、语句合并、整库同步等 支持 FlinkCDC 整库实时入仓入湖、多库输出、自动建表、模式演变 支持 Flink Java / Scala / Python UDF 开发与自动提交 支持 SQL 作业开发:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks 等 支持实时在线调试预览 Table、 ChangeLog、统计图和 UDF 支持 Flink Catalog、数据源元数据在线查询及管理 支持自动托管的 SavePoint/CheckPoint 恢复及触发机制:最近一次、最早一次、指定一次等 支持实时任务运维:上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力 支持实时作业报警及报警组:钉钉、微信企业号、飞书、邮箱等 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、系统配置等 支持企业级管理功能:多租户、用户、角色、命名空间等 更多隐藏功能等待小伙伴们探索
备注:
Dinky目前在大数据开发这块使用率非常高,大家一定要熟悉这个工具。 Dinky可以让我们少写很多项目,只需要专注核心代码即可,大家一定要熟悉这个工具。
还没有评论,来说两句吧...