记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。
关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决
Flink 1.14.3
Hudi 0.12.0/0.12.1
本文采用Flink yarn-session模式，不会的可以参考之前的文章。
如果想同步Hive的话，就不能使用上面下载的包了，必须使用profileflink-bundle-shade-hive自己打包,这里参考官网：https://hudi.apache.org/cn/docs/syncing_metastore,打包命令
1 | ## Hive3 |
为了避免不必要的麻烦，最好自己修改一下对应的profile中的Hive版本，比如我们环境的Hive版本为HDP的3.1.0.3.1.0.0-78，我们将hive.version对应的值改为3.1.0.3.1.0.0-78再打包就可以了。
more >>
Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。
Hudi 0.12.0
支持insert/upsert/delete，暂不支持bulkInsert
目前仅支持COW表
支持完整的写Hudi操作，包括rollback、clean、archive等
参与Apache Hudi开源有一年多的时间了，马上1024了，虽然距离成为Apache Hudi Commiter还有很遥远的距离，但还是想跟大家分享一下自己的开源经验，讲一下自己如何从开源小白成为Apache Hudi Contributor的。
如何提交PR，可以参考我转载的这篇：一行代码成为Apache Contributor,这篇文章讲述了怎么提交PR，怎么邮箱订阅以及Jira准备等，详细过程我就不再阐述了，这篇文章主要想分享自己的经验。
我自己之前连Contributor是啥都不知道，其实只要你向社区提交过代码也就是在GitHub上提过PR并且你的代码被merge了，你就是Contributor了，再往上还有Commiter、PMC等，这些我之前都没听过，一般来说你贡献的代码比较多，比如贡献过一个比较大的模块如Hudi Spark SQL,或者你可以负责一个模块，经过PMC的提名、投票等，通过的话就会成为Commiter了，根据我的经验，当贡献代码行数过万时成为Commiter就比较有希望了，当然不是绝对的。Commiter有专门的Apache 账户，有权限merge代码，至于PMC，大家可以自己去了解。Apache Hudi Commiter列表地址：https://hudi.apache.org/cn/community/team
more >>Apache Hudi bootstrap源码简要走读，不了解Hudi bootstrap的可以参考：利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表
Hudi 0.12.0
Spark 2.4.4
1 | val bootstrapDF = spark.emptyDataFrame |
记录写Hudi时的一个异常的解决方法，其实这个异常从去年就发现并找到解决方法了，而且已经提交到社区merge了，PR：[HUDI-2675] Fix the exception ‘Not an Avro data file’ when archive and clean。之所以现在又要总结这个异常的处理方法是因为:我们生产环境用的 Hudi0.9.0版本，且没有升级，因为升级Hudi版本可能会有不兼容的问题，需要测试，比较费时，所以目前还没有升级版本，而这个PR合入的版本为0.11.0，所以本文主要总结在0.9.0版本如何解决这个问题，当然也适用于0.11.0版本之前的其他有同样问题的版本。
archive和clean时都会有这个异常，主要异常信息：
1 | Caused by: java.io.IOException: Not an Avro data file |
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true