谁说 AI 编程工具缺乏记忆和联想能力？简单琐碎的需求完全可以交给它

Amazon CodeWhisperer

Amazon CodeWhisperer 是一款 AI 编码配套应用程序，可在 IDE 中生成整行代码和完整的函数代码建议，以帮助您更快地完成更多工作。在本系列文章中，我们将为您详细介绍 Amazon CodeWhisperer 的相关信息，敬请关注！

2023年可以说是生成式 AI 正式破圈的一年。无数的工具、产品横空出世，包括面向企业的大语言模型，以及帮助个人的 AI 工具。其中，在 AI 编程助手领域，也涌现了很多不错的产品，潜移默化中改变了程序员们生产和解决问题的方式。以前，大家往往依靠搜索引擎，找到对应官网或在知名论坛寻找答案；而如今，我们仅依靠 AI 编程助手，就能解决很多问题。

亚马逊云科技就推出了一款 AI 编程助手—— Amazon CodeWhisperer，同时推出的还有供所有开发人员免费使用的个人版（CodeWhisperer Individual)，能够使用您的 AI 编码配套应用程序更快、更安全地构建应用程序。亚马逊云科技在 AI 领域有足够多的积累，在面向开发者方面亦有足够多的经验、产品用户体验来反馈用户感受，并不断迭代着相关产品。同时，借助亚马逊云的强大优势和力量，能够将 AI 和云打通，这在当前云原生时代是必不可少的能力。

more >>

展开全文 >>

Flink 源码阅读笔记（2）- JobGraph 的生成

前言

前面的 文章 我们介绍了 StreamGraph 的生成，这个实际上只对应 Flink 作业在逻辑上的执行计划图。Flink 会进一步对 StreamGraph 进行转换，得到另一个执行计划图，即 JobGraph。

JobVertex

在 StreamGraph 中，每一个算子（Operator） 对应了图中的一个节点（StreamNode）。StreamGraph 会被进一步优化，将多个符合条件的节点串联（Chain） 在一起形成一个节点，从而减少数据在不同节点之间流动所产生的序列化、反序列化、网络传输的开销。多个算子被 chain 在一起的形成的节点在 JobGraph 中对应的就是 JobVertex。

每个 JobVertex 中包含一个或多个 Operators。 JobVertex 的主要成员变量包括

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
/** The ID of the vertex. */
private final JobVertexID id;

/** The alternative IDs of the vertex. */
private final ArrayList<JobVertexID> idAlternatives = new ArrayList<>();

/** The IDs of all operators contained in this vertex. */
private final ArrayList<OperatorID> operatorIDs = new ArrayList<>();

/** The alternative IDs of all operators contained in this vertex. */
private final ArrayList<OperatorID> operatorIdsAlternatives = new ArrayList<>();

/** List of produced data sets, one per writer */
private final ArrayList<IntermediateDataSet> results = new ArrayList<IntermediateDataSet>();

/** List of edges with incoming data. One per Reader. */
private final ArrayList<JobEdge> inputs = new ArrayList<JobEdge>();

/** Number of subtasks to split this task into at runtime.*/
private int parallelism = ExecutionConfig.PARALLELISM_DEFAULT;
more >>

展开全文 >>

Hudi Flink SQL源码调试学习（二）- Transformation/StreamOperator总结 - StreamGraph和JobGraph的生成过程

前言

和上篇文章Hudi Flink SQL源码调试学习（一）一样：本着学习hudi-flink源码的目的，利用之前总结的文章中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。

本文主要总结 Flink 的 Transformation、StreamOperator, 写Hudi与 Transformation、StreamOperator的关系以及Hudi有哪些自定义的 StreamOperator，还有Flink的四层执行图以及 StreamGraph 和 JobGraph 的生成构建过程。

版本

  • Flink 1.15.4
  • Hudi 0.13.0

Transformation & StreamOperator

通过阅读Hudi源码，发现写Hudi的主要逻辑在Pipelines中的hoodieStreamWrite、append、bulkInsert、compact、cluster等方法中。而这几个方法的主要逻辑都用到了transform这个方法，transform返回结果为DataStream,执行完transform方法后最终会执行dataStream.addSink完成写Hudi逻辑。而transform和addSink方法又主要与Transformation、StreamOperator(StreamOperatorFactory)这两个类有关，实际上写Hudi的主要逻辑就是在Hudi自定义的StreamOperator和SinkFunction中实现的。

more >>

展开全文 >>

Flink 源码阅读笔记（1）- StreamGraph 的生成

本文为转载文章，原文地址：https://blog.jrwang.me/2019/flink-source-code-streamgraph/   作者：jrthe42

前言

在研究学习hudi flink源码时发现实际上写Hudi的主要逻辑是在Hudi自定义的StreamOperator和SinkFunction中实现，它们是通过DataStream的transform和addSink调用实现，继续研究发现和Flink的Transformation和StreamOperator有关。那么就需要了解StreamOperator的调用执行逻辑，最后发现这需要了解Flink Task的的运行逻辑，知道Flink的Task或者Function是如何运行的。而这里的逻辑是比较复杂的，大概包含StreamGraph、JobGraph、ExecutionGraph、Physical Graph(虚拟结构)的生成或者构建，还有JobManager和TaskManager的启动，而JobManager又包含ResourceManager、Dispatcher和JobMaster, 这里涉及Java8异步编程如CompletableFuture和基于Akka的RPC通信，最后才是Task的的部署和启动，StreamOperator相关方法的调用最终是通过启动Task.run方法在StreamTask中实现的。

我现在只需要了解主要的调用逻辑，暂时没有精力研究具体的每个步骤的详细源码，正好查阅相关资料时发现了几篇不错的文章，所以转载一下，先从StreamGraph开始。

注意：本篇文章对应的Flink版本比较老了（1.7或1.8），但主要的逻辑一样，可以参考文章和新版Flink源码进行学习，以下为原文

在编写 Flink 的程序的时候，核心的要点是构造出数据处理的拓扑结构，即任务执行逻辑的 DAG。我们先来看一下 Flink 任务的拓扑在逻辑上是怎么保存的。

StreamExecutionEnvironment

StreamExecutionEnvironment 是 Flink 在流模式下任务执行的上下文，也是我们编写 Flink 程序的入口。根据具体的执行环境不同，StreamExecutionEnvironment 有不同的具体实现类，如 LocalStreamEnvironment, RemoteStreamEnvironment 等。StreamExecutionEnvironment 也提供了用来配置默认并行度、Checkpointing 等机制的方法，这些配置主要都保存在 ExecutionConfig 和 CheckpointConfig 中。我们现在先只关注拓扑结构的产生。

more >>

展开全文 >>

记录几个Hudi Flink使用问题及解决方法

前言

如题，记录几个Hudi Flink使用问题，学习和使用Hudi Flink有一段时间，虽然目前用的还不够深入，但是目前也遇到了几个问题，现在将遇到的这几个问题以及解决方式记录一下

版本

  • Flink 1.15.4
  • Hudi 0.13.0

流写

流写Hudi,必须要开启Checkpoint，这个我在之前的文章:Flink SQL Checkpoint 学习总结提到过。

如果不设置Checkpoint，不会生成commit，感觉像是卡住一样，具体表现为只生成.commit.requested和.inflight,然后不写文件、不生成.commit也不报错，对于新手来说很费劲，很难找到解决方法。

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~