Flink 作业提交流程

Apache Flink 的 作业提交流程（Job Submission Process） 是指从用户编写完 Flink 应用程序，到最终在 Flink 集群上运行并执行任务的整个过程。它涉及多个组件之间的交互，包括客户端、JobManager、TaskManager 和 ResourceManager。

🧩 一、Flink 作业提交整体流程图解

[Client] → 提交 JobGraph
     ↓
[JobManager / Dispatcher] → 调度与资源申请
     ↓
[ResourceManager] → 分配 TaskManager Slot
     ↓
[TaskManager] → 启动 Task 并执行 Subtask
     ↓
[JobManager] → 协调任务状态、检查点等

📌 二、Flink 作业提交详细步骤说明

⚙️ 三、各组件职责详解

📦 四、作业提交方式汇总

🧠 五、提交流程详解（以 Standalone 或 YARN 模式为例）

✅ 1. 客户端（Client）

• 编译并打包 Flink 作业为 JAR 文件
• 使用 flink run 命令提交作业
• 生成 JobGraph 并发送至 JobManager

flink run -m yarn-cluster -p 4 -c com.example.WordCount ./wordcount.jar

✅ 2. JobManager（也称作 Dispatcher + JobMaster）

• 接收 Client 提交的 JobGraph
• 创建 ExecutionGraph，描述任务执行计划
• 请求 ResourceManager 分配资源

✅ 3. ResourceManager

• 根据 JobManager 请求，向 TaskManager 申请 Slot
• 协调资源分配，保证资源公平使用

✅ 4. TaskManager

• 收到 Slot 分配通知后，准备执行环境
• 加载 JAR 文件，启动 Subtask
• 向 JobManager 报告执行状态

✅ 5. ExecutionGraph 执行

• JobManager 监控所有 Task 的执行情况
• 触发 Checkpoint，维护状态一致性
• 处理失败重试、反压监控等

📊 六、JobGraph vs StreamGraph vs ExecutionGraph 对比

🔁 七、状态恢复与 Checkpoint 流程

1. JobManager 定期触发 Checkpoint
2. TaskManager 将状态快照写入配置的 Checkpoint 存储路径（如 HDFS）
3. JobManager 收集所有 Task 的 Checkpoint 成功信号
4. 如果发生故障，从最近成功的 Checkpoint 恢复状态

🧪 八、完整提交命令示例（YARN 模式）

# 启动 YARN Session
flink run-application -t yarn-application \
    -Djobmanager.memory.process.size=1024mb \
    -Dtaskmanager.memory.process.size=2048mb \
    -Dparallelism.default=4 \
    ./my-flink-job.jar

# 提交到已有的 Session 集群
flink run -m yarn-cluster -p 4 -c com.example.MyJob ./myjob.jar

🧩 九、提交流程中的关键概念

✅ 十、总结：Flink 作业提交流程的核心阶段

📘 十一、扩展学习方向

如果你希望我为你演示以下内容，请继续提问：

• Flink on YARN 提交流程详解
• Flink on Kubernetes 提交原理
• 自定义 Checkpoint 存储路径
• Savepoint 的使用与恢复
• ExecutionGraph 的结构与作用
• 如何查看 Web UI 中的 ExecutionGraph
• 作业失败时的恢复机制详解

📌 一句话总结：

Flink 作业提交流程是一个多组件协作的过程，核心是 JobGraph 的构建与 ExecutionGraph 的执行，结合 Checkpoint 实现高可用与状态一致性。