上篇文章 总结了Spark SQL Rollback, Hudi CLI 也能实现 Rollback，本文总结下 Hudi CLI 安装配置以及遇到的问题。
https://hudi.apache.org/cn/docs/cli/
1 | mvn clean package -DskipTests -Drat.skip=true -Dscala-2.12 -Dspark3.2 -Pflink-bundle-shade-hive3 -Dflink1.15 |
因为有 Hudi Rollback 的需求，所以单独总结 Hudi Spark Sql Procedures Rollback。
官方文档：https://hudi.apache.org/docs/procedures
相关阅读：Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
官方文档：https://hudi.apache.org/docs/rollbacks
回滚数据，可以回滚到至上一个commit（成功的）,也可以回滚到指定 commit (savepoint)。本文暂不涉及savepoint，只总结 回滚到上一个 commit。
more >>
如题：记录一个 Hudi HBase 依赖冲突问题及解决方案
1 | ERROR Javalin: Exception occurred while servicing http-request |
之前很少用MOR表，现在来学习总结一下。首先总结一下 compaction 遇到的问题。
COW 和 MOR
记录Spark Client 配置，这里的 Spark Client 和 HDFS、YARN 不在一个节点，只是一个单节点的 Spark Client，需要能连接其他节点的大数据集群的 Hive 和 能提交到Yarn 。
大数据节点（已配置好Spark）：
192.168.44.154
192.168.44.155
192.168.44.156
客户端：
192.168.44.157 (新装操作系统)
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true