Spark 源码 | 脚本分析总结

2025-02-10

前言

最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 Cluster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。

版本

Spark 3.2.3

Spark 脚本

先看一下Spark 主要的脚本有哪些：spark-submit、spark-sql、spark-shell、spark-class、start-all.sh、stop-all.sh、start-master.sh、start-workers.sh 等。

spark-sql

if [ -z "${SPARK_HOME}" ]; then
  source "$(dirname "$0")"/find-spark-home
fi

export _SPARK_CMD_USAGE="Usage: ./bin/spark-sql [options] [cli option]"
exec "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

通过 spark-submit 提交类 org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
more >>

展开全文 >>

Spark RPC 学习总结

2025-01-13

前言

本文从API层面学习总结Spark RPC,暂不涉及源码分析。

Spark 通信历史

最开始: Akka
Spark 1.3：开始引入Netty，为了解决大块数据（如Shuffle）的传输问题
Spark 1.6：支持配置使用 Akka 或者 Netty。
Spark 2：完全废弃Akka,全部使用Netty

Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Spark 借鉴Akka 通过 Netty 实现了类似的简约版的Actor 模型

废弃Akka的原因

https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-5293
主要原因是解决用户的Spark Application中akka版本和Spark内置的akka版本冲突的问题。比如，用户开发的Spark Application中用到了Spray框架，Spray依赖的akka版本跟Spark的不一致就会导致冲突：

很多Spark用户也使用Akka，但是由于Akka不同版本之间无法互相通信，这就要求用户必须使用跟Spark完全一样的Akka版本，导致用户无法升级Akka。
Spark的Akka配置是针对Spark自身来调优的，可能跟用户自己代码中的Akka配置冲突。
Spark用的Akka特性很少，这部分特性很容易自己实现。同时，这部分代码量相比Akka来说少很多，debug比较容易。如果遇到什么bug，也可以自己马上fix，不需要等Akka上游发布新版本。而且，Spark升级Akka本身又因为第一点会强制要求用户升级他们使用的Akka，对于某些用户来说是不现实的。

参考：https://www.zhihu.com/question/61638635
more >>

展开全文 >>

Netty 入门学习

2025-01-09

前言

学习Spark源码绕不开通信，Spark通信是基于Netty实现的，所以先简单学习总结一下Netty。

Spark 通信历史

最开始: Akka
Spark 1.3：开始引入Netty，为了解决大块数据（如Shuffle）的传输问题
Spark 1.6：支持配置使用 Akka 或者 Netty
Spark 2：完全废弃Akka,全部使用Netty

Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Spark 借鉴Akka 通过 Netty 实现了类似的简约版的Actor 模型

more >>

展开全文 >>

log4j 单独设置某个类或者某个包的级别

2024-12-27

原本的设置

log4j.rootLogger = INFO, dailyfile

log4j.appender.dailyfile.DatePattern=.yyyy-MM-dd
log4j.appender.dailyfile.Threshold = INFO
log4j.appender.dailyfile = org.apache.log4j.DailyRollingFileAppender
log4j.appender.dailyfile.File = /var/log/zeppelin/zeppelin.log
log4j.appender.dailyfile.layout = org.apache.log4j.PatternLayout
log4j.appender.dailyfile.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1} %l: %m%n

配置解析

rootLogger

rootLogger：根Logger (日志写出器)，可以理解为默认日志写出器

语法为： log4j.rootLogger = [ level ] , appenderName, …
[level]：根Logger的写出日志的级别，这里的level=INFO
appenderName：Appenders组件名，这里的appenderName=dailyfile，名称可以自定义，可以同时写多个，逗号分隔

more >>

展开全文 >>

Hudi 源码 | 索引总结 - tag/tagLocation

2024-07-15

前言

接上篇文章和之前的总结的源码文章，本文总结源码 tag/tagLocation ，对应功能：根据索引信息判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。

tag

AbstractWriteHelper.tag

private I tag(
    I dedupedRecords, HoodieEngineContext context, HoodieTable<T, I, K, O> table) {
  // perform index loop up to get existing location of records
  // 执行索引循环以获取记录的现有位置
  // 对于 Java Client 这里 table 为 HoodieJavaCopyOnWriteTable
  return table.getIndex().tagLocation(dedupedRecords, context, table);
}

table.getIndex()

对于 Java Client 这里 table 为 HoodieJavaCopyOnWriteTable ， HoodieJavaCopyOnWriteTable.getIndex() -> HoodieJavaTable.getIndex

protected HoodieIndex<T, List<HoodieRecord<T>>, List<HoodieKey>, List<WriteStatus>> getIndex(HoodieWriteConfig config, HoodieEngineContext context) {
  return JavaHoodieIndex.createIndex(config);
}

public static HoodieIndex createIndex(HoodieWriteConfig config) {
  // first use index class config to create index.
  if (!StringUtils.isNullOrEmpty(config.getIndexClass())) {
    Object instance = ReflectionUtils.loadClass(config.getIndexClass(), config);
    if (!(instance instanceof HoodieIndex)) {
      throw new HoodieIndexException(config.getIndexClass() + " is not a subclass of HoodieIndex");
    }
    return (JavaHoodieIndex) instance;
  }

  // TODO more indexes to be added
  // 从这里看出，当前版本（0.9.0），Java Client 只支持两种索引类型：INMEMORY 和 BLOOM
  switch (config.getIndexType()) {
    case INMEMORY:
      return new JavaInMemoryHashIndex(config);
    case BLOOM:
      return new JavaHoodieBloomIndex(config);
    default:
      throw new HoodieIndexException("Unsupported index type " + config.getIndexType());
  }
}

因为指定了索引类型为 BLOOM , 所以这里返回 JavaHoodieBloomIndex 。

more >>

展开全文 >>