Spark 源码 | Standalone Client 模式提交流程（七）

2026-07-23

前言

在第五篇文章 Yarn Client 模式提交流程（五）中，我们分析了 Yarn Client 模式的完整提交流程。本文将继续分析 Spark 的另一种常用部署模式——Standalone Client 模式的提交流程。

Standalone 模式是 Spark 自带的集群管理器，不依赖 YARN、Mesos 等外部资源调度系统。其架构包含 Master（集群管理器）和 Worker（工作节点）两个角色，Master 负责资源调度，Worker 负责执行计算任务。

关于 Standalone 集群的搭建与配置，可参考之前的文章 Spark Standalone 集群配置。Master 和 Worker 的启动源码分析将在后续文章中详细介绍。

版本

Spark 3.2.3

Standalone Client 模式概述

Standalone Client 模式下，Driver 运行在提交应用的客户端机器上，向 Master 注册 Application，Master 调度 Worker 启动 Executor。

与 Yarn Client 的直观对比：

Yarn Client 模式中的 ResourceManager + NodeManager 对应到 Standalone 模式中的 Master + Worker。区别在于 Standalone 模式是 Spark 自带的简易调度系统，功能比 YARN 精简，但启动和调试更加方便。

模式	Master 地址	childMainClass	Driver 位置
Standalone Client	`spark://host:port`	`args.mainClass`（用户主类）	客户端
Standalone Cluster	`spark://host:port`	`SparkApplication` 或 `Wrapper`	集群
Yarn Client	`yarn`	`args.mainClass`（用户主类）	客户端

// 提交命令示例
spark-submit --master spark://host:7077 --deploy-mode client \
  --class org.apache.spark.examples.SparkPi \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.3.jar

more >>

展开全文 >>

Spark 源码 | Yarn Cluster 模式提交流程（六）

2026-07-18

前言

在第五篇文章 Yarn Client 模式提交流程（五）中，我们详细分析了 Yarn Client 模式的提交流程。本文继续分析 Yarn Cluster 模式的提交流程，重点介绍与 Client 模式的关键差异——Driver 如何在 AM 内启动。

版本

Spark 3.2.3

Yarn Cluster 模式概述

Yarn Cluster 模式下，Driver 运行在 YARN 集群的 ApplicationMaster 容器中，客户端提交后即可断开，作业在集群中独立运行。

1 2	// 提交命令示例 spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.3.jar

与 Yarn Client 模式的核心区别

特性	Yarn Client	Yarn Cluster
Driver 位置	客户端	AM 内部
childMainClass	args.mainClass（用户类）	YarnClusterApplication
isClusterMode 判断	args.userClass == null	args.userClass != null
AM 入口方法	runExecutorLauncher()	runDriver()
资源申请时机	AM 启动后直接申请 Executor（Driver 已在客户端运行）	AM 先启动 Driver 线程，等 SparkContext 初始化完毕后再申请 Executor
资源申请顺序	Driver → AM → Executor	AM → Driver → Executor
Driver 启动方式与位置	客户端先启动 Driver（`app.start` 直接反射调用用户 `main` 方法），Driver 初始化 SparkContext 时，在 `YarnClientSchedulerBackend.start()` 中提交 Application 启动 AM	客户端先启动 AM（`app.start` → `YarnClusterApplication.start()` → `Client.run()` → `submitApplication()` 提交 Application），AM 的 `runDriver()` 中再通过 `startUserApplication()` 反射调用用户 `main` 方法启动 Driver
跨线程同步机制	无。Driver 在客户端主线程运行，AM 与 Driver 是两个独立进程，不需要跨线程同步	Promise + wait/notify。Driver（用户线程）与 AM 主线程在同一进程不同线程，SparkContext 初始化完后通过 `YarnClusterScheduler.postStartHook()` → `sparkContextInitialized()` 填充 Promise，通知 AM 主线程 `awaitResult` 返回；用户线程通过 `wait()` 挂起，等 AM 注册和申请完资源后通过 `resumeDriver()` → `notify()` 唤醒

more >>

展开全文 >>

Oracle CDC 抽取 BLOB 字段完整踩坑与解决指南

2026-07-15

前言

之前在 Flink CDC 2 Kafka 中总结过 Flink CDC 对 Blob 字段的支持，测试使用的是 MySQL CDC，配置 debezium.binary.handling.mode=base64 即可将 Blob 图片转 base64 字符串正常同步，当时结论是”Blob 字段支持没问题”。

但后续在 Oracle CDC 场景中实际操作发现，Blob 字段的支持情况与数据库类型强相关，不能一概而论。Oracle 的 LogMiner 机制对 LOB 类型的处理与 MySQL 截然不同，需要额外的配置和源码级别的修复才能正常工作。本文记录 Oracle CDC 抽取 Blob 字段过程中遇到的全部问题与解决方案。

版本

Flink 1.15.3
CDC 2.4.2
Debezium 1.9.7.Final
Oracle 11G / 12C

测试环境与 SQL

more >>

展开全文 >>

Spark 源码 | Yarn Client 模式提交流程（五）

2026-07-12

前言

在第四篇文章 SparkContext 初始化与 TaskScheduler 创建流程（四）中，我们分析了 SparkContext 初始化和 TaskScheduler 创建流程。本文详细介绍 Yarn Client 模式的提交流程。

版本

Spark 3.2.3

Yarn Client 模式概述

Yarn Client 模式下，Driver 运行在提交应用的客户端机器上，直接与 YARN ResourceManager 通信申请资源，Executor 运行在 YARN 的 NodeManager 节点上。

什么是 Driver？Driver 为什么运行在客户端？

在 Spark 中，Driver 并不对应某个单独的类或对象，而是一个运行时角色——用户主类的 main 方法在哪里执行，Driver 就在哪里（用户主类中会创建 SparkContext/SparkSession，驱动整个应用的执行）。

第二篇文章 SparkSubmit 提交流程分析（二）中，prepareSubmitEnvironment 方法根据 deployMode 设置 childMainClass，决定了 main 方法在何处执行：

模式	childMainClass	main 方法执行位置	Driver 位置
Yarn Client	`args.mainClass`（用户主类）	`runMain` 在客户端反射调用	客户端
Yarn Cluster	`YarnClusterApplication`	`runDriver` 在 AM 内调用	集群

总结：Yarn Client 模式 childMainClass = args.mainClass，本地反射执行用户主类的 main 方法，Driver 在客户端；Yarn Cluster 模式 childMainClass = YarnClusterApplication，由 ApplicationMaster 通过 runDriver() 启动用户主类，Driver 在集群中。

关于 Driver 及各模式下角色的详细总结，将在系列文章完成后单独分析。

1 2	// 提交命令示例 spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.3.jar

more >>

展开全文 >>

Spark 源码 | SparkContext 初始化与 TaskScheduler 创建流程（四）

2026-07-09

前言

在第二篇文章 Spark 源码 | SparkSubmit 提交流程分析（二）中，我们分析了 SparkSubmit 的提交流程。在 Yarn Client 模式下：

runMain 方法会调用 app.start（Yarn Client 模式下为 JavaMainApplication），在 app.start 中通过反射调用用户主类的 main 方法（具体调用过程在不同模式中有所不同，后续分析各模式时再详细说明）
用户主类（如 SparkPi）的 main 方法通常会创建 SparkSession 或 SparkContext
在创建 SparkContext 时，会创建 TaskScheduler 和 SchedulerBackend

本文说明：虽然本文以 Yarn Client 模式为例（YarnScheduler、YarnClientSchedulerBackend），但 SparkContext 初始化和 TaskScheduler 创建流程是各模式的公共前提。后续分析 Yarn Cluster、Standalone 等模式时可直接参考本篇内容。

为什么要先写这篇：TaskScheduler 和 SchedulerBackend 的创建是各模式的公共前提，内容较多。如果不先单独分析，在分析各模式提交流程时就需要同时包含这些内容，导致每篇文章都很长。因此本文先专门分析它们的创建过程，后续分析各模式时就可以直接聚焦于该模式特有的流程（如 Executor 启动）。

版本

Spark 3.2.3

SparkContext 初始化入口

用户代码通常这样创建 SparkContext：

val spark = SparkSession.builder()
  .appName("WordCount")
  .master("yarn")
  .getOrCreate()

val sc = spark.sparkContext

more >>

展开全文 >>