在最开始学习Hudi源码时，就发现了Hudi有一个Bootstrap功能，但是一直没用过，通过官网文档https://hudi.apache.org/cn/docs/migration_guide/可知,它可以将现有的表件转化为Hudi表，而且有两种类型METADATA_ONLY和FULL_RECORD，但是文档并不详细，比如这两种类型的区别具体是啥，支持哪些文件类型的源表。于是带着这些疑问来学习一下它是如何使用的以及源码原理的实现，这样可以更全面的了解Hudi。
Hudi 0.12.0
Spark 2.4.4/3.1.2
如题，目前只支持两种文件类型：parquet和orc,对于其他格式的Hive表，比如text就不能用Bootstrap进行转化了
其实官方文档并没有说明支持哪些类型，我们可以在源码里找到答案：
more >>
首先安装好Ceph,可以参考我前面的文章Ceph分布式集群安装配置
Flink: 1.10.1
hadoop: hdp版本 3.1.1.3.1.0.0-78
flink-s3-fs-hadoop-1.10.1.jar，从maven仓库下载即可，下载地址：https://mvnrepository.com/artifact/org.apache.flink/flink-s3-fs-hadoop，找到对应的版本下载即可
然后在$FLINK_HOME/plugins目录下创建文件夹s3-fs-hadoop，将下载的flink-s3-fs-hadoop-1.10.1.jar拷贝到该目录下
我这个版本的Flink是有scala-shell终端的，别的版本可能没有，路径 bin/start-scala-shell.sh
添加配置（Shell我们采用模式yarn-per-job）：1
2
3
4
5execution.target: yarn-per-job
s3.access.key: access_key
s3.secret.key: secret_key
s3.endpoint: ip:7480
s3.connection.ssl.enabled: false
首先安装好Ceph,可以参考我上篇文章Ceph分布式集群安装配置
spark: 2.4.5
hadoop: hdp版本 3.1.1.3.1.0.0-78
1 | hadoop-aws-3.1.1.3.1.0.0-78.jar 注意版本要和hadoop版本对应 |
将上面的jar包拷贝到$SPARK_HOME/jars
more >>
记录Ceph分布式集群安装配置过程及问题解决
| 主机名 | 角色 | IP地址 |
|---|---|---|
| ceph1 | ceph-deploy、mon、mgr、osd | 192.168.44.128 |
| ceph2 | mon、mgr、osd | 192.168.44.129 |
| ceph3 | mon、mgr、osd | 192.168.44.130 |
要保证每台机器能连接外网
1 | wget -qO /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo |
记录博主第一次使用Flink SQL查询Hive的配置以及问题解决过程
博主目前还没有用过Flink,没有写过Flink代码，完全是一个小白。之所以使用Flink，是因为博主目前需要测试使用dolphinscheduler的一些功能，其中包括Flink数据源，这里Flink数据源我们使用的是Kyuubi Flink Engine,且学会、了解了Flink之后对于学习Hudi、Kyuubi也是有帮助的。
flink-1.14.3，这里使用kyuubi1.5.2自带的Flink
HDP环境，Hadoop、Hive等已经安装配置好
1 | export HADOOP_CLASSPATH=`hadoop classpath` |
可以添加在比如/ect/profile里，这样等于修改全局的环境，如果想只对Flink生效，可以添加在bin/config.sh文件里
more >>一开始我对
hadoop classpath理解错了，以为是自己手动修改成实际的路径，但是hadoop对应的jar包的路径有很多，后来发现它的意思是执行命令hadoop classpath将返回值赋给HADOOP_CLASSPATH
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true