Spark 源码 | Yarn Cluster 模式提交流程（六）

2026-07-18

前言

在第五篇文章 Yarn Client 模式提交流程（五）中，我们详细分析了 Yarn Client 模式的提交流程。本文继续分析 Yarn Cluster 模式的提交流程，重点介绍与 Client 模式的关键差异——Driver 如何在 AM 内启动。

版本

Spark 3.2.3

Yarn Cluster 模式概述

Yarn Cluster 模式下，Driver 运行在 YARN 集群的 ApplicationMaster 容器中，客户端提交后即可断开，作业在集群中独立运行。

1 2	// 提交命令示例 spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.3.jar

与 Yarn Client 模式的核心区别

特性	Yarn Client	Yarn Cluster
Driver 位置	客户端	AM 内部
childMainClass	args.mainClass（用户类）	YarnClusterApplication
isClusterMode 判断	args.userClass == null	args.userClass != null
AM 入口方法	runExecutorLauncher()	runDriver()
资源申请时机	AM 启动后直接申请 Executor（Driver 已在客户端运行）	AM 先启动 Driver 线程，等 SparkContext 初始化完毕后再申请 Executor
资源申请顺序	Driver → AM → Executor	AM → Driver → Executor
Driver 启动方式与位置	客户端先启动 Driver（`app.start` 直接反射调用用户 `main` 方法），Driver 初始化 SparkContext 时，在 `YarnClientSchedulerBackend.start()` 中提交 Application 启动 AM	客户端先启动 AM（`app.start` → `YarnClusterApplication.start()` → `Client.run()` → `submitApplication()` 提交 Application），AM 的 `runDriver()` 中再通过 `startUserApplication()` 反射调用用户 `main` 方法启动 Driver
跨线程同步机制	无。Driver 在客户端主线程运行，AM 与 Driver 是两个独立进程，不需要跨线程同步	Promise + wait/notify。Driver（用户线程）与 AM 主线程在同一进程不同线程，SparkContext 初始化完后通过 `YarnClusterScheduler.postStartHook()` → `sparkContextInitialized()` 填充 Promise，通知 AM 主线程 `awaitResult` 返回；用户线程通过 `wait()` 挂起，等 AM 注册和申请完资源后通过 `resumeDriver()` → `notify()` 唤醒

more >>

展开全文 >>

Spark 源码 | Standalone Client 模式提交流程（七）

2026-07-18

前言

在第五篇文章 Yarn Client 模式提交流程（五）中，我们分析了 Yarn Client 模式的完整提交流程。本文将继续分析 Spark 的另一种常用部署模式——Standalone Client 模式的提交流程。

Standalone 模式是 Spark 自带的集群管理器，不依赖 YARN、Mesos 等外部资源调度系统。其架构包含 Master（集群管理器）和 Worker（工作节点）两个角色，Master 负责资源调度，Worker 负责执行计算任务。

版本

Spark 3.2.3

Standalone Client 模式概述

Standalone Client 模式下，Driver 运行在提交应用的客户端机器上，向 Master 注册 Application，Master 调度 Worker 启动 Executor。

与 Yarn Client 的直观对比：

Yarn Client 模式中的 ResourceManager + NodeManager 对应到 Standalone 模式中的 Master + Worker。区别在于 Standalone 模式是 Spark 自带的简易调度系统，功能比 YARN 精简，但启动和调试更加方便。

模式	Master 地址	childMainClass	Driver 位置
Standalone Client	`spark://host:port`	`args.mainClass`（用户主类）	客户端
Standalone Cluster	`spark://host:port`	`SparkApplication` 或 `Wrapper`	集群
Yarn Client	`yarn`	`args.mainClass`（用户主类）	客户端

// 提交命令示例
spark-submit --master spark://host:7077 --deploy-mode client \
  --class org.apache.spark.examples.SparkPi \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.3.jar

more >>

展开全文 >>

Oracle CDC 抽取 BLOB 字段完整踩坑与解决指南

2026-07-15

前言

之前在 Flink CDC 2 Kafka 中总结过 Flink CDC 对 Blob 字段的支持，测试使用的是 MySQL CDC，配置 debezium.binary.handling.mode=base64 即可将 Blob 图片转 base64 字符串正常同步，当时结论是”Blob 字段支持没问题”。

但后续在 Oracle CDC 场景中实际操作发现，Blob 字段的支持情况与数据库类型强相关，不能一概而论。Oracle 的 LogMiner 机制对 LOB 类型的处理与 MySQL 截然不同，需要额外的配置和源码级别的修复才能正常工作。本文记录 Oracle CDC 抽取 Blob 字段过程中遇到的全部问题与解决方案。

版本

Flink 1.15.3
CDC 2.4.2
Debezium 1.9.7.Final
Oracle 11G / 12C

测试环境与 SQL

more >>

展开全文 >>

Spark 源码 | Yarn Client 模式提交流程（五）

2026-07-12

前言

在第四篇文章 SparkContext 初始化与 TaskScheduler 创建流程（四）中，我们分析了 SparkContext 初始化和 TaskScheduler 创建流程。本文详细介绍 Yarn Client 模式的提交流程。

版本

Spark 3.2.3

Yarn Client 模式概述

Yarn Client 模式下，Driver 运行在提交应用的客户端机器上，直接与 YARN ResourceManager 通信申请资源，Executor 运行在 YARN 的 NodeManager 节点上。

什么是 Driver？Driver 为什么运行在客户端？

在 Spark 中，Driver 并不对应某个单独的类或对象，而是一个运行时角色——用户主类的 main 方法在哪里执行，Driver 就在哪里（用户主类中会创建 SparkContext/SparkSession，驱动整个应用的执行）。

第二篇文章 SparkSubmit 提交流程分析（二）中，prepareSubmitEnvironment 方法根据 deployMode 设置 childMainClass，决定了 main 方法在何处执行：

模式	childMainClass	main 方法执行位置	Driver 位置
Yarn Client	`args.mainClass`（用户主类）	`runMain` 在客户端反射调用	客户端
Yarn Cluster	`YarnClusterApplication`	`runDriver` 在 AM 内调用	集群

总结：Yarn Client 模式 childMainClass = args.mainClass，本地反射执行用户主类的 main 方法，Driver 在客户端；Yarn Cluster 模式 childMainClass = YarnClusterApplication，由 ApplicationMaster 通过 runDriver() 启动用户主类，Driver 在集群中。

关于 Driver 及各模式下角色的详细总结，将在系列文章完成后单独分析。

1 2	// 提交命令示例 spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.3.jar

more >>

展开全文 >>

Spark 源码 | SparkContext 初始化与 TaskScheduler 创建流程（四）

2026-07-09

前言

在第二篇文章 Spark 源码 | SparkSubmit 提交流程分析（二）中，我们分析了 SparkSubmit 的提交流程。在 Yarn Client 模式下：

runMain 方法会调用 app.start（Yarn Client 模式下为 JavaMainApplication），在 app.start 中通过反射调用用户主类的 main 方法（具体调用过程在不同模式中有所不同，后续分析各模式时再详细说明）
用户主类（如 SparkPi）的 main 方法通常会创建 SparkSession 或 SparkContext
在创建 SparkContext 时，会创建 TaskScheduler 和 SchedulerBackend

本文说明：虽然本文以 Yarn Client 模式为例（YarnScheduler、YarnClientSchedulerBackend），但 SparkContext 初始化和 TaskScheduler 创建流程是各模式的公共前提。后续分析 Yarn Cluster、Standalone 等模式时可直接参考本篇内容。

为什么要先写这篇：TaskScheduler 和 SchedulerBackend 的创建是各模式的公共前提，内容较多。如果不先单独分析，在分析各模式提交流程时就需要同时包含这些内容，导致每篇文章都很长。因此本文先专门分析它们的创建过程，后续分析各模式时就可以直接聚焦于该模式特有的流程（如 Executor 启动）。

版本

Spark 3.2.3

SparkContext 初始化入口

用户代码通常这样创建 SparkContext：

val spark = SparkSession.builder()
  .appName("WordCount")
  .master("yarn")
  .getOrCreate()

val sc = spark.sparkContext

more >>

展开全文 >>