前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
在开始学习Hudi的时候,我们知道通过df.write.format("hudi").save可以实现写Hudi,并且写Hudi的逻辑是在HoodieSparkSqlWriter.write实现的,但是始终有一个疑问:它怎么从df.write.format("hudi").save跳到HoodieSparkSqlWriter.write中的呢?本文就是主要来回答这个问题的。
版本
Spark 2.4.4
Hudi 0.12.0-SNAPSHOT,和上篇文章Hudi Spark SQL源码学习总结-CTAS用的Hudi代码一样
示例代码
还是拿源码里的TestCreateTable中的测试语句
1 | import spark.implicits._ |
df.write
返回DataFrameWriter,后面的format、option、save等方法都是在这个类中
1 | def write: DataFrameWriter[T] = { |
format
source=”hudi”,后面save时会用到
1 | def format(source: String): DataFrameWriter[T] = { |
save
save方法首先添加path参数,然后判断source是否等于hive,我们这里source等于hudi,所以不满足,接下来通过DataSource.lookupDataSource查找hudi对应的dataSouce类,然后判断它是不是DataSourceV2的子类,再执行后面的逻辑,所以我们需要先看一下DataSource.lookupDataSource
1 | def save(path: String): Unit = { |
DataSource.lookupDataSource
其实我们在上篇文章中讲isV2Provider时涉及到Spark3.2.1版本的lookupDataSource方法了,spark2.4.4的也差不多,我们再来看一下:其中的provider1 = hudi, provider2 = hudi.DefaultSource,然后加载所有的META-INF/services/org.apache.spark.sql.sources.DataSourceRegister,再返回里面的内容,和Hudi相关的有org.apache.hudi.DefaultSource org.apache.hudi.Spark2DefaultSource org.apache.spark.sql.execution.datasources.parquet.HoodieParquetFileFormat 等,然后过滤shortName=hudi的,只有Spark2DefaultSource满足,所以直接返回Spark2DefaultSource。这里和Spark3.2.1不同的是: Spark2对应Spark2DefaultSource Spark3对应Spark3DefaultSource
1 | def lookupDataSource(provider: String, conf: SQLConf): Class[_] = { |
Spark2DefaultSource
那么Spark2DefaultSource是不是DataSourceV2的子类呢,需要看一下它的定义
1 | class Spark2DefaultSource extends DefaultSource with DataSourceRegister { |
可见Spark2DefaultSource并不是DataSourceV2的子类,所以接下来执行saveToV1Source方法
saveToV1Source
saveToV1Source方法的核心是后面的runCommand,先看他的参数DataSource.planForWriting
1 | if (SparkSession.active.sessionState.conf.getConf( |
DataSource.planForWriting
根据上面的分析可知DataSource.lookupDataSource返回的为Spark2DefaultSource,并且它的父类DefaultSource实现了CreatableRelationProvider,所以返回SaveIntoDataSourceCommand
1 | def planForWriting(mode: SaveMode, data: LogicalPlan): LogicalPlan = { |
runCommand
1 | private def runCommand(session: SparkSession, name: String)(command: LogicalPlan): Unit = { |
我们在文章Hudi Spark SQL源码学习总结-Create Table中讲到过:withNewExecutionId方法会调用方法体body,这里的body为qe.toRdd
1 | def withNewExecutionId[T]( |
qe.toRdd
1 | lazy val toRdd: RDD[InternalRow] = executedPlan.execute() |
这里的executedPlan 为ExecutedCommandExec,因为SaveIntoDataSourceCommand是RunnableCommand也是Command的子类,同样在我之前写的文章Hudi Spark SQL源码学习总结-Create Table我们可知无论是df.logicalPlan还是executedPlan都会触发一遍完整的Spark SQL的parsing、analysis、optimization 、planning,并且在planning阶段的planner.plan方法中会遍历strategies并应用其apply方法,其中有一个BasicOperators,它的apply方法为
1 | object BasicOperators extends Strategy { |
我们这里的plan为SaveIntoDataSourceCommand是RunnableCommand的子类,所以返回ExecutedCommandExec,它是SparkPlan的子类,至于如何触发Spark SQL的parsing、analysis、optimization 、planning,本文就不再讲解了,只贴一下入口相关的代码
1 | /** Internal version of the RDD. Avoids copies and has no schema */ |
executedPlan.execute()
executedPlan.execute()方法是在SparkPlan中定义的,它会调用doExecute方法,SparkPlan的doExecute并没有具体实现,所以需要看一下它的具体实现类
1 | final def execute(): RDD[InternalRow] = executeQuery { |
上面我们讲到,这里的SparkPlan的子类是ExecutedCommandExec,它的doExecute会调用sideEffectResult,继而调用cmd.run,这里的cmd为SaveIntoDataSourceCommand
1 | case class ExecutedCommandExec(cmd: RunnableCommand) extends LeafExecNode { |
SaveIntoDataSourceCommand.run
它的run方法会调用dataSource.createRelation,在上面构造SaveIntoDataSourceCommand时我们知道dataSource为Spark2DefaultSource
1 | case class SaveIntoDataSourceCommand( |
Spark2DefaultSource.createRelation
Spark2DefaultSource的createRelation方法是在其父类DefaultSource中实现的,可见在createRelation中调用了HoodieSparkSqlWriter.write,到此为止,我们终于搞清楚了从df.write.format("hudi").save到HoodieSparkSqlWriter.write的逻辑。
1 | class Spark2DefaultSource extends DefaultSource with DataSourceRegister { |
总结
本文分析总结了从df.write.format("hudi").save到HoodieSparkSqlWriter.write的调用逻辑,解决了自己最开始学习Hudi时的一个疑惑😄,希望对大家也能有所帮助。