Spark的DAG生成过程详解

Spark的DAG生成过程详解

引用

CSDN

1.

https://blog.csdn.net/m0_49834705/article/details/113111596

在Spark计算框架中，DAG（有向无环图）扮演着至关重要的角色。它不仅决定了数据处理的逻辑流程，还影响着任务的调度和执行效率。本文将深入解析Spark中DAG的生成过程，帮助读者理解其核心概念和实际应用。

1. DAG详解

DAG（Directed Acyclic Graph）即有向无环图，是Spark中用于表示RDD（弹性分布式数据集）之间依赖关系的数据结构。原始的RDD通过一系列转换操作形成DAG，根据RDD之间的依赖关系不同，DAG被划分为不同的Stage（调度阶段）。

• 窄依赖与宽依赖：
• 对于窄依赖，分区的转换处理可以在一个Stage中完成计算。
• 对于宽依赖，由于存在Shuffle操作，只能在父RDD处理完成后才能开始接下来的计算。因此，宽依赖是划分Stage的主要依据。

DAG的边界条件：

• 开始：通过SparkContext创建的RDD
• 触发Action：一旦触发Action操作，就形成了一个完整的DAG

小结：

• 一个Spark Application应用中包含一个或多个DAG（即一个Job），取决于触发了多少次Action操作。
• 一个DAG中包含不同的阶段（Stage），划分阶段的依据是宽依赖。
• 一个阶段（Stage）中包含多个Task，每个分区对应一个Task。

2. DAG划分Stage

Spark的计算逻辑关系可以概括为以下层次结构：

• 一个Application包含一个或多个Job，每个Job对应一个DAG。
• 一个Job被划分为不同的Stage。
• 一个Stage下面包含一个或多个TaskSet。
• 一个TaskSet包含多个Task。

通过这种层次化的结构，Spark能够有效地管理和调度计算任务，实现数据的并行处理和高效计算。