Spark集群架构解析：核心组件与Standalone、YARN模式深度对比(AM，Container，Driver，Executor)

一、核心组件定义与关系拆解

1. ApplicationMaster（AM）

• 定义：YARN 框架中的应用管理器，每个应用程序（如 Spark 作业）对应一个 AM。
• 职责：
  • 向 YARN 的 ResourceManager 申请资源（Container）。
  • 管理分配到的 Container，启动 Executor 进程。
  • 监控任务执行状态，处理失败重试。
• 与其他组件关系：在 YARN 模式下，AM 是 Spark 与 YARN 的桥梁，不直接参与 Spark 作业逻辑（除了 yarn-cluster 模式下启动 Driver）。

2. Driver

• 定义：Spark 应用的主控进程，是 Spark 作业的执行入口。
• 职责：
  • 创建 SparkContext，解析用户代码（如 RDD 转换）。
  • 将作业分解为 Task，调度到 Executor 执行。
  • 监控 Task 进度，收集结果，处理错误。
• 与其他组件关系：在 Standalone 和 YARN 模式中位置不同（见下文对比），是 Spark 作业的 “大脑”。

3. Executor

• 定义：运行 Spark 任务的工作进程，每个 Executor 负责执行多个 Task。
• 职责：
  • 维护 Task 执行的线程池，执行 Driver 分配的 Task。
  • 缓存 RDD 数据，供 Task 复用。
  • 向 Driver 汇报任务状态和结果。
• 与其他组件关系：依赖 Container 提供的资源运行，受 Driver 调度。

4. Container

• 定义：YARN 中的资源抽象单位，封装 CPU、内存等资源。
• 职责：为应用程序组件（如 AM、Executor）提供运行环境。
• 与其他组件关系：AM 向 YARN 申请 Container 来启动 Executor，Driver 和 Executor 在 Container 中运行（YARN 模式下）。

在 yarn-cluster 模式下：AM、Driver、Executor 各自占用独立的 Container，且 Container 是物理隔离的资源单元（包含实际分配的内存、CPU 等资源），并非逻辑概念。每个 Container 对应一个真实运行的进程容器，由 YARN 的 ResourceManager 按物理资源标准分配。

其实上面这些概念AM，Container都是在Spark on Yarn集群模式下才有的，AM，Container这些概念是Hadoop中的，Spark通过Yarn分配资源，那就一定会存在，Spark Standalone没有，因为它是不依赖于外部框架的，而是用自身提供的

二、Standalone 与 YARN 模式的架构对比

1. Standalone 模式（Spark 原生集群管理器）

• 架构图：

  

• 核心关系：
  • Driver：由客户端启动，直接与 Master（集群管理器）和 Worker（工作节点）交互。
  • Executor：由 Worker 启动，运行在 Worker 节点上，受 Driver 调度。
  • 无 ApplicationMaster：Standalone 是 Spark 自研的资源管理框架，不依赖 YARN，因此没有 AM 组件。
  • 资源管理：Master 负责分配 Worker 节点的资源给 Driver，Driver 直接控制 Executor 的启动。

 Standalone 模式为什么没有 AM 和 Container？

• AM 的替代者：Standalone 模式中，Master 节点承担资源调度角色（类似 YARN 的 ResourceManager），但没有 AM 这个中间层。
• 资源分配单位差异：
  • YARN 用 Container 封装资源；Standalone 直接向 Worker 节点申请 Executor 进程（每个 Executor 对应 Worker 节点的一组 CPU / 内存）。
• 组件运行方式：
  • Driver：由客户端启动，运行在客户端或 Worker 节点（取决于--deploy-mode）。
  • Executor：由 Worker 节点直接启动，作为独立进程运行（无 Container 封装）。

Standalone 模式架构流程

Master（总调度）
  ↓
Worker节点1
  ↓
Driver（若deploy-mode=cluster）或Executor1
  ↓
Worker节点2
  ↓
Executor2、Executor3...

2. YARN 模式（Spark 运行在 YARN 集群上）

• 架构图（以 yarn-cluster 为例）：

  

• 核心关系：
  • ApplicationMaster：作为 YARN 与 Spark 的中间层，向 ResourceManager 申请 Container 资源，启动 Driver 和 Executor。
  • Driver：

在 yarn-cluster 模式下由 AM 启动，运行在 Container 中；

在 yarn-client 模式下由客户端启动，运行在客户端机器。

• Executor：运行在 NodeManager 管理的 Container 中，受 Driver 调度。
• 资源管理：YARN 的 ResourceManager 统一管理集群资源，AM 作为应用代表申请资源，Driver 不直接与 ResourceManager 交互。

(1) yarn-cluster 模式：Container 是 “物理隔离的办公间”

• Container 本质：YARN 分配的最小资源单元（内存 / CPU 等），是进程运行的物理容器（类似 Docker 容器）。
• 组件与 Container 的映射：
  • AM：单独占用 1 个 Container（由 ResourceManager 分配），负责启动 Driver 和申请 Executor 资源。
  • Driver：由 AM 在另一个 Container 中启动（属于 AM 的子任务）。
  • Executor：每个 Executor 占用 1 个 Container，由 AM 向 ResourceManager 申请后启动。
• 类比场景：
  • ResourceManager 是 “房东”，负责分配房间（Container）；
  • AM 是 “租客代表”，租到第一个房间后，再替 Driver 和 Executor 租其他房间。

yarn-cluster 模式架构流程

ResourceManager（总房东）
  ↓
AM（租客代表）[Container1]
  ↓
Driver（项目经理）[Container2]
  ↓
Executor1[Container3]、Executor2[Container4]...（工人）

(2) yarn-client 模式：Driver 跳出 Container 的 “例外”

• Container 的角色：
  • AM 占用 1 个 Container（在集群内），仅负责申请 Executor 的 Container。
  • 每个 Executor 占用 1 个 Container（在集群内）。
• Driver 的特殊性：
  • Driver 在客户端机器（非集群节点）直接运行，不依赖 Container（因为 YARN 无法管理客户端资源）。
  • 类比：AM 在集群内租房间给 Executor，但 Driver 在 “集群外的自家房子” 办公，只通过网络指挥集群内的 Executor。

yarn-client 模式架构流程

客户端机器（本地）
  ↓
Driver（项目经理）[非Container]
  ↓
ResourceManager（总房东）
  ↓
AM（租客代表）[Container1]
  ↓
Executor1[Container2]、Executor2[Container3]...（工人）

涉及ResourceManager，NodeManager的，从略微更高的角度，去理解以上他们之间关系，请见文章

YARN与Spark组件架构关系及交互机制：从ResourceManager到Executor的层级、依赖与通信链路解析-CSDN博客

三、两种模式下组件关系的类比理解

1. Standalone 模式：自营小团队

• Master：团队领导，分配任务给 Worker（员工）。
• Driver：项目经理，直接对接领导，安排具体工作（Task）给员工（Executor）。
• Executor：员工，在自己的工位（Worker 节点）上干活，听项目经理指挥。
• 特点：Spark 自己管资源，简单直接，但扩展性和资源隔离性较差。

2. YARN 模式：外包大公司

• YARN ResourceManager：大公司 CEO，掌管所有资源（Container）。
• ApplicationMaster：外包项目负责人，向 CEO 申请资源（Container），拿到资源后组建团队。
• Driver：项目技术负责人，由外包负责人招聘（启动），负责具体技术方案和任务分配。
• Executor：外包员工，在公司分配的工位（Container）上干活，听技术负责人指挥。
• 特点：YARN 统一管资源，Spark 作为应用运行，适合多应用混部，资源利用率高。

四、关键差异总结表

五、一句话理清组件关系

• Standalone：Driver（项目经理）直接找 Master（领导）要资源，分配给 Worker 上的 Executor（员工）干活。
• YARN：AM（外包负责人）先找 YARN CEO（ResourceManager）要 Container（工位），用 Container 启动 Driver（技术负责人）和 Executor（员工），Driver 再指挥 Executor 干活。