前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
本着学习hudi-flink源码的目的,利用之前总结的文章Hudi Flink SQL代码示例及本地调试中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。
版本
- Flink 1.15.4
- Hudi 0.13.0
目标
在文章Hudi Flink SQL代码示例及本地调试中提到:我们发现Table API的入口和DataStream API的入口差不多,DataStream API的入口是在HoodiePipeline的sink和source方法里,而这两个方法也是分别调用了HoodieTableFactory的createDynamicTableSink和createDynamicTableSource。那么Table API的代码怎么一步一步走到createDynamicTableSink和createDynamicTableSource的呢?返回HoodieTableSink之后又是怎么写数据的?因为我发现Hudi写数据的主要逻辑入口好像是在HoodieTableSink.getSinkRuntimeProvider的方法体里,这些问题之前都没有搞清楚,所以这次的目标就是要搞清楚:1、Table API 的入口到createDynamicTableSink返回HoodieTableSink的主要代码步骤; 2、在哪里调用HoodieTableSink.getSinkRuntimeProvider的方法体进行后面的写Hudi逻辑的
相关类:
HoodiePipeline(DataStream API)HoodieTableFactoryHoodieTableSinkDataStreamSinkProviderAdapter(函数式接口)TableEnvironmentImplBatchPlannerPlannerBaseFactoryUtilBatchExecSinkCommonExecSink
DataStream API
其实上面的问题在DataStream API代码里很容易看出来,我们先看一下DataStream API写Hudi的代码,详细代码在文章:Flink Hudi DataStream API代码示例
1 | DataStream<RowData> dataStream = env.fromElements( |
HoodiePipeline.Builder.sink
1 | public DataStreamSink<?> sink(DataStream<RowData> input, boolean bounded) { |
HoodiePipeline.sink
1 | private static DataStreamSink<?> sink(DataStream<RowData> input, ObjectIdentifier tablePath, ResolvedCatalogTable catalogTable, boolean isBounded) { |
在HoodiePipeline.sink就可以找到答案:
1、HoodieTableFactory.createDynamicTableSink 返回HoodieTableSink
2、HoodieTableSink.getSinkRuntimeProvider 返回DataStreamSinkProviderAdapter
3、DataStreamSinkProviderAdapter.consumeDataStream调用HoodieTableSink.getSinkRuntimeProvider中的方法体执行后面的写Hudi逻辑。这里的dataStream为我们最开始在程序里创建的DataStream<RowData>
HoodieTableSink.getSinkRuntimeProvider
getSinkRuntimeProvider返回DataStreamSinkProviderAdapter,其中Lambda 表达式dataStream -> {}为DataStreamSinkProviderAdapter.consumeDataStream(dataStream)的具体实现
1 |
|
DataStreamSinkProviderAdapter其实是一个函数式接口,它是一种只包含一个抽象方法的接口。Lambda 表达式可以被赋值给一个函数式接口,从而实现接口的实例化
1 | public interface DataStreamSinkProviderAdapter extends DataStreamSinkProvider { |
函数式接口和Lambda 表达式参考下面两篇文章:
https://it.sohu.com/a/682888110_100123073
https://blog.csdn.net/Speechless_/article/details/123746047

Table API
知道了 DataStream API 调用步骤后,来对比看一下 Table API 的大致调用步骤,调试代码入口。
1 | tableEnv.executeSql(String.format("insert into %s values (1,'hudi',10,100,'2023-05-28')", tableName)); |
整体调用流程
1、tableEnv.executeSql->TableEnvironmentImpl.executeSql->executeInternal(Operation operation)->executeInternal(List<ModifyOperation> operations)->this.translate->(PlannerBase)this.planner.translate
2.1、PlannerBase.translate->PlannerBase.translateToRel->getTableSink(catalogSink.getContextResolvedTable, dynamicOptions)->FactoryUtil.createDynamicTableSink->HoodieTableFactory.createDynamicTableSink
2.2、PlannerBase.translate->(BatchPlanner)translateToPlan(execGraph)->(ExecNodeBase)node.translateToPlan->(BatchExecSink)translateToPlanInternal->(CommonExecSink)createSinkTransformation->(HoodieTableSink)getSinkRuntimeProvider->(CommonExecSink)applySinkProvider->provider.consumeDataStream
具体代码
TableEnvironmentImpl
(TableEnvironmentImpl)executeSql
1 | public TableResult executeSql(String statement) { |
executeInternal(Operation operation)
1 | public TableResultInternal executeInternal(Operation operation) { |
executeInternal(List<ModifyOperation> operations)
1 | public TableResultInternal executeInternal(List<ModifyOperation> operations) { |
translate
这里的planner为BatchPlanner,因为我们设置了batch模式EnvironmentSettings.inBatchMode() (如果为streaming模式,那么这里的planner为StreamPlanner,具体的实现可以看StreamTableEnvironmentImpl.create)
1 | protected List<Transformation<?>> translate(List<ModifyOperation> modifyOperations) { |
BatchPlanner
(BatchPlanner的父类)PlannerBase.translate (如果为streaming模式,那么这里的planner为StreamPlanner,两者父类一样,这里都是走的父类的方法)
1 | override def translate( |
PlannerBase.translateToRel
1 | private[flink] def translateToRel(modifyOperation: ModifyOperation): RelNode = { |
PlannerBase.getTableSink
1 | private def getTableSink( |
FactoryUtil.createDynamicTableSink
根据’connector’=’hudi’ 找到factory为org.apache.hudi.table.HoodieTableFactory,接着调用
HoodieTableFactory.createDynamicTableSink
1 | public static DynamicTableSink createDynamicTableSink( |
HoodieTableFactory.createDynamicTableSink
第一个问题解决
1 | public DynamicTableSink createDynamicTableSink(Context context) { |
BatchExecSink
回到方法PlannerBase.translate,它会在后面调用translateToPlan。execGraph.getRootNodes返回的内容为BatchExecSink (想知道为啥是BatchExecSink,可以看PlannerBase.translate中调用的translateToExecNodeGraph方法)(如果为streaming模式,那么execGraph.getRootNodes返回StreamExecSink),BatchExecSink是BatchExecNode的子类,所以会执行node.translateToPlan
PlannerBase.translateToPlan
1 | override protected def translateToPlan(execGraph: ExecNodeGraph): util.List[Transformation[_]] = { |
BatchExecSink
1 | public class BatchExecSink extends CommonExecSink implements BatchExecNode<Object> { |
ExecNodeBase.translateToPlan
1 | public final Transformation<T> translateToPlan(Planner planner) { |
BatchExecSink.translateToPlanInternal (只有这里区分batch和streaming模式,如果为streaming模式,这里走StreamExecSink.translateToPlanInternal,其他两种模式都一样走的父类的逻辑)
1 | protected Transformation<Object> translateToPlanInternal( |
CommonExecSink.createSinkTransformation
这里的tableSink为HoodieTableSink,会调用HoodieTableSink的getSinkRuntimeProvider方法返回runtimeProvider(没有执行里面的方法体)
1 |
|
CommonExecSink.applySinkProvider
先通过new DataStream<>(env, sinkTransformation)生成dataStream,接着通过执行
provider.consumeDataStream调用HoodieTableSink.getSinkRuntimeProvider中的方法体,这里的provider为HoodieTableSink.getSinkRuntimeProvider返回的DataStreamSinkProviderAdapter
1 | private Transformation<?> applySinkProvider( |
provider.consumeDataStream(已经在上面的类DataStreamSinkProviderAdapter提过)
它会调用
HoodieTableSink.getSinkRuntimeProvider中的方法体(Lambda 表达式)执行后面的写hudi逻辑
第二个问题解决
1 | default DataStreamSink<?> consumeDataStream(ProviderContext providerContext, DataStream<RowData> dataStream) { |
总结
本文主要简单记录了自己调试 Hudi Flink SQL 源码的过程,并没有对源码进行深入的分析(自己水平也不够)。主要目的是为了弄清楚从Table API 的入口到createDynamicTableSink返回HoodieTableSink的主要代码步骤以及在哪里调用HoodieTableSink.getSinkRuntimeProvider的方法体以进行后面的写Hudi逻辑,这样便于后面对Hudi源码的分析和学习。
本文新学习知识点:函数式接口以及对应的 Lambda 表达式的实现