什么是Spark DAGScheduler?

提问者:帅平 问题分类:面试刷题
什么是Spark DAGScheduler?
1 个回答
扎起头发是矫情
扎起头发是矫情
Spark DAGScheduler是Spark作业的调度器,负责将逻辑执行计划转换成物理执行计划,优化执行顺序并执行作业中的所有任务。
当Spark应用程序调用操作时,DAGScheduler将通过Spark的逻辑执行计划创建有向无环图(DAG),其中每个操作表示为DAG中的一个节点,每个操作的依赖关系表示为边缘。然后,DAGScheduler将执行计划转换为物理执行计划,该计划将操作映射到可以在集群上执行的任务。这些任务在多个节点上并行执行,并通过Spark的任务调度器进行调度。
发布于:2年前 (2023-03-27) IP属地:四川省
我来回答