全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Flink On Yarn中Yarn Per-Job模式提交流程是什么？

提问者：帅平问题分类：面试刷题

发布于：2个月前 (02-06) IP属地：四川省

1 个回答

等你许久

Per-Job 模式下，JobGraph 和集群资源请求一起提交给 Yarn.

第一阶段：启动集群

1、使用./flink run -m yarn-cluster(开辟资源+提交任务) 提交 Per-Job 模式的作业. 
2、Yarn 启动 Flink 集群, 该模式下 Flink 集群的启动入口是 YarnJobClusterEntryPoint, 其他与 YarnSession 模式下集群的启动类似.

第二阶段作业提交
与 Seesion 模式下的不同，Client 并不会通过 Rest 接口向 Dispatcher 服务提交 JobGraph,而是由 Dispatcher 服务从本地文件系统获取 JObGraph，后面的步骤与 Session 模式一样.
第三阶段：作业调度执行
与 Yarn Session 模式下一致.

发布于：2个月前 (02-06) IP属地：四川省

我来回答