对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。
由于Flink底层Rpc是基于Akka实现，我们先了解下Akka的基本使用。
Akka是一个开发并发、容错和可伸缩应用的框架。它是Actor Model的一个实现，和Erlang的并发模型很像。在Actor模型中，所有的实体被认为是独立的actors。actors和其他actors通过发送异步消息通信。Actor模型的强大来自于异步。它也可以显式等待响应，这使得可以执行同步操作。但是，强烈不建议同步消息，因为它们限制了系统的伸缩性。每个actor有一个邮箱(mailbox)，它收到的消息存储在里面。另外，每一个actor维护自身单独的状态。一个Actors网络如下所示：
more >>
Amazon CodeWhisperer 是一款 AI 编码配套应用程序，可在 IDE 中生成整行代码和完整的函数代码建议，以帮助您更快地完成更多工作。在本系列文章中，我们将为您详细介绍 Amazon CodeWhisperer 的相关信息，敬请关注！
2023年可以说是生成式 AI 正式破圈的一年。无数的工具、产品横空出世，包括面向企业的大语言模型，以及帮助个人的 AI 工具。其中，在 AI 编程助手领域，也涌现了很多不错的产品，潜移默化中改变了程序员们生产和解决问题的方式。以前，大家往往依靠搜索引擎，找到对应官网或在知名论坛寻找答案；而如今，我们仅依靠 AI 编程助手，就能解决很多问题。
亚马逊云科技就推出了一款 AI 编程助手—— Amazon CodeWhisperer，同时推出的还有供所有开发人员免费使用的个人版（CodeWhisperer Individual)，能够使用您的 AI 编码配套应用程序更快、更安全地构建应用程序。亚马逊云科技在 AI 领域有足够多的积累，在面向开发者方面亦有足够多的经验、产品用户体验来反馈用户感受，并不断迭代着相关产品。同时，借助亚马逊云的强大优势和力量，能够将 AI 和云打通，这在当前云原生时代是必不可少的能力。
more >>前面的 文章 我们介绍了 StreamGraph 的生成，这个实际上只对应 Flink 作业在逻辑上的执行计划图。Flink 会进一步对 StreamGraph 进行转换，得到另一个执行计划图，即 JobGraph。
在 StreamGraph 中，每一个算子（Operator） 对应了图中的一个节点（StreamNode）。StreamGraph 会被进一步优化，将多个符合条件的节点串联（Chain） 在一起形成一个节点，从而减少数据在不同节点之间流动所产生的序列化、反序列化、网络传输的开销。多个算子被 chain 在一起的形成的节点在 JobGraph 中对应的就是 JobVertex。
每个 JobVertex 中包含一个或多个 Operators。 JobVertex 的主要成员变量包括
1 | /** The ID of the vertex. */ |
和上篇文章Hudi Flink SQL源码调试学习（一）一样：本着学习hudi-flink源码的目的，利用之前总结的文章中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。
本文主要总结 Flink 的 Transformation、StreamOperator, 写Hudi与 Transformation、StreamOperator的关系以及Hudi有哪些自定义的 StreamOperator，还有Flink的四层执行图以及 StreamGraph 和 JobGraph 的生成构建过程。
通过阅读Hudi源码，发现写Hudi的主要逻辑在Pipelines中的hoodieStreamWrite、append、bulkInsert、compact、cluster等方法中。而这几个方法的主要逻辑都用到了transform这个方法，transform返回结果为DataStream,执行完transform方法后最终会执行dataStream.addSink完成写Hudi逻辑。而transform和addSink方法又主要与Transformation、StreamOperator(StreamOperatorFactory)这两个类有关，实际上写Hudi的主要逻辑就是在Hudi自定义的StreamOperator和SinkFunction中实现的。
本文为转载文章，原文地址：https://blog.jrwang.me/2019/flink-source-code-streamgraph/ 作者：jrthe42
在研究学习hudi flink源码时发现实际上写Hudi的主要逻辑是在Hudi自定义的StreamOperator和SinkFunction中实现，它们是通过DataStream的transform和addSink调用实现，继续研究发现和Flink的Transformation和StreamOperator有关。那么就需要了解StreamOperator的调用执行逻辑，最后发现这需要了解Flink Task的的运行逻辑，知道Flink的Task或者Function是如何运行的。而这里的逻辑是比较复杂的，大概包含StreamGraph、JobGraph、ExecutionGraph、Physical Graph(虚拟结构)的生成或者构建，还有JobManager和TaskManager的启动，而JobManager又包含ResourceManager、Dispatcher和JobMaster, 这里涉及Java8异步编程如CompletableFuture和基于Akka的RPC通信，最后才是Task的的部署和启动，StreamOperator相关方法的调用最终是通过启动Task.run方法在StreamTask中实现的。
我现在只需要了解主要的调用逻辑，暂时没有精力研究具体的每个步骤的详细源码，正好查阅相关资料时发现了几篇不错的文章，所以转载一下，先从StreamGraph开始。
注意：本篇文章对应的Flink版本比较老了（1.7或1.8），但主要的逻辑一样，可以参考文章和新版Flink源码进行学习，以下为原文
在编写 Flink 的程序的时候，核心的要点是构造出数据处理的拓扑结构，即任务执行逻辑的 DAG。我们先来看一下 Flink 任务的拓扑在逻辑上是怎么保存的。
StreamExecutionEnvironment 是 Flink 在流模式下任务执行的上下文，也是我们编写 Flink 程序的入口。根据具体的执行环境不同，StreamExecutionEnvironment 有不同的具体实现类，如 LocalStreamEnvironment, RemoteStreamEnvironment 等。StreamExecutionEnvironment 也提供了用来配置默认并行度、Checkpointing 等机制的方法，这些配置主要都保存在 ExecutionConfig 和 CheckpointConfig 中。我们现在先只关注拓扑结构的产生。
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true