什么是 Spark DAG？

DAG 是 Directed Acyclic Graph 的缩写，指有向无环图，Spark 中的 DAG 是任务调度的重要概念。在 Spark 中，任务的依赖关系被表示为一个有向无环图，任务被表示为图中的节点，依赖关系被表示为节点间的有向边。
Spark DAG 是一种优化执行计划的数据结构，将任务按照依赖关系划分成多个阶段，每个阶段中的任务可以并行执行。通过 DAG，Spark 可以将多个具有依赖关系的任务划分成多个阶段，对每个阶段进行优化处理，最终形成一条任务执行的有向无环图，最大程度地提高了任务的并行度，从而加速数据处理的速度。