在前面的文章我们介绍了dinky中的作业。也介绍了这里的黑框是用来编写实际代码的,编写完成之后,我们需要调试,需要验证,那么就需要对应的执行环境,不同的执行环境就对应不同的执行模式。本文的话,我们介绍下dinky中FlinkSql作业的执行模式。
dinky支持哪些执行模式?
在dinky中,作业编写完毕之后,右侧的配置里面就要一个执行模式,如下图:
这里可以选择对应的执行模式,dinky中支持的Flinksql执行模式有:
Local Standalone Yarn Session Yarn Per-Job Yarn Application Kubernetes Session Kubernetes Application
这些执行模式有哪些特点,分别适用于哪些场景?
上面我们列举了7种执行模式,哪些执行模式有哪些特点,并且有哪些注意事项呢?下面我们来列举下:
序号 | 模式 | 说明 | 特点 | 适用场景 | 注意事项 |
1 | local | Dinky 内置的 Flink MiniCluster,如果提交任务至 Local 模式则将在 Dinky 内部运行该作业。 | 不需要外部 Flink 集群,资源受限。 | 语法校验、查看 JobPlan、查看字段级血缘、执行资源占用非常小的批作业。 | 请不要提交流任务至 Local,如果提交了,你将无法关闭它,只能重启 Dinky。 |
2 | standalone | Dinky 将通过 JobManager 的 Rest 端口提交 FlinkSQL 作业至外部的 Flink Standalone 集群。 | 作业资源共享,启动快,不依赖 Yarn 或 K8S。 | 批作业、Flink OLAP 查询、资源占用小的流作业。 | |
3 | yarn session | Dinky 将通过 JobManager 的 Rest 端口提交 FlinkSQL 作业至外部的 Flink Yarn Session 集群。 | 作业资源共享,启动快。 | 作业资源共享,启动快,批作业、Flink OLAP 查询、资源占用小的流作业。 | 需要手动启动 Yarn Session 集群并注册到 Dinky 的集群实例 |
4 | yarn per-job | Dinky 将通过 Yarn 来创建 Flink Yarn Per-Job 集群。 | 作业资源隔离,启动慢,每个 JobGraph 创建一个集群。 | 资源占用较多的批作业和流作业。 | 需要在 Dinky 的集群配置中注册相关的 Hadoop 和 Flink 配置 |
5 | yarn application | Dinky 将通过 Yarn 来创建 Flink Yarn Application 集群。 | 作业资源隔离,启动慢,节约网络资源,所有 JobGraph 只创建一个集群。 | 资源占用较多的批作业和流作业。 | 需要在 Dinky 的集群配置中注册相关的 Hadoop 和 Flink 配置 |
6 | kubernetes session | Dinky 将通过暴露的 NodePort 端口提交 FlinkSQL 作业至外部的 Flink Kubernetes Session 集群。 | 作业资源隔离,启动快,动态扩容。 | 作业资源隔离,启动快,动态扩容,批作业、Flink OLAP 查询、资源占用小的流作业。 | 需要在 Dinky 的集群配置中注册相关的 Kubernetes 和 Flink 配置 |
7 | kubernetes application | Dinky 将通过 dlink-app 镜像创建的 Flink Kubernetes Application 集群。 | 作业资源隔离,启动慢,动态扩容,节约网络资源,所有 JobGraph 只创建一个集群。 | 作业资源隔离,启动慢,动态扩容,节约网络资源,资源占用较多的批作业和流作业。 | 需要在 Dinky 的集群配置中注册相关的 Kubernetes 和 Flink 配置 |
以上就是关于Dinky中flinksql的作业执行模式的介绍
还没有评论,来说两句吧...