前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
上篇文章 总结了Spark SQL Rollback, Hudi CLI 也能实现 Rollback,本文总结下 Hudi CLI 安装配置以及遇到的问题。
官方文档
https://hudi.apache.org/cn/docs/cli/
版本
- Hudi 0.13.0
- Spark 3.2.3
打包
1 | mvn clean package -DskipTests -Drat.skip=true -Dscala-2.12 -Dspark3.2 -Pflink-bundle-shade-hive3 -Dflink1.15 |
创建hudi-cli文件夹
1 | mkdir hudi-cli |
上传
将打包好的 conf hudi-cli-bundle_2.12-0.13.0.jar hudi-cli-with-bundle.sh上传到 hudi-cli

修改文件权限和格式
1 | chmod -R 777 hudi-cli-with-bundle.sh |
环境变量
conf/hudi-env.sh
1 | export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop/conf"} |
使用
到现在就可以使用了
1 | ./hudi-cli-with-bundle.sh |

警告和异常解决
修改脚本
修改后的脚本如下:
1 |
|
下载 HUDI_AUX_LIB
由于公司内网连不上maven仓库,可以选择手动下载,并上传到对应目录,这样就不用每次都下载了
1 | mkdir auxlib |

日志配置文件解析错误
错误日志
1 | ERROR StatusLogger Unrecognized format specifier [d] |
解决方法
解决方法:删除 spark jars 下面的 hive-exec-2.3.9-core.jar 中的 Log4j2Plugins.dat 文件
问题原因:Log4j2Plugins.dat 文件冲突
参考文章:https://www.cnblogs.com/yeyang/p/10485790.html

查找冲突文件思路
根据 CLI 启动日志:
1 | java -cp /opt/hudi-cli/conf:/opt/hudi-cli/auxlib/*:/usr/hdp/3.1.0.0-78/spark/*:/usr/hdp/3.1.0.0-78/spark/jars/*:/etc/hadoop/conf:/etc/spark2/conf:/opt/hudi-cli/hudi-cli-bundle_2.12-0.13.0.jar:/usr/hdp/3.1.0.0-78/spark/jars/hudi-spark3.2-bundle_2.12-0.14.1.jar -DSPARK_CONF_DIR=/etc/spark2/conf -DHADOOP_CONF_DIR=/etc/hadoop/conf org.apache.hudi.cli.Main |
挨个查找其中每个路径下的文件中是否有包含 Log4j2Plugins.dat 。最终发现在 spark jars 下面的 hive-exec-2.3.9-core.jar 中包含 Log4j2Plugins.dat 。删除其中的 Log4j2Plugins.dat ,问题解决。
1 | grep -rl Log4j2Plugins.dat /usr/hdp/3.1.0.0-78/spark/jars/* |

最终效果

Rollback
用法
1 | hudi->help |
1 | hudi->help commit rollback |
示例
1 | connect /tmp/hudi/test_flink_mor |


问题
问题一
只有第一次Rollback成功,第二次以及后续的Rollback失败:
也不能Rollback失败的 commit:
问题原因和上篇文章一样,但是升级 Hudi 版本到 0.14.1,并没有解决问题,说明Hudi CLI 相关的代码逻辑并没有修复。
问题二
没有 history 日志,history UI 无法查看,报 404 错误。
原因为源码中配置了 spark.eventLog.enabled=false , 这样虽然 spark-default.conf 中配置了 spark.eventLog.enabled=true , 但是代码优先级高,所以导致没有history 日志。
解决方法:修改源码,删除源码中spark.eventLog.enabled的默认设置,使照环境中 spark-default.conf 的配置生效,重新打包。
源码位置: SparkUtil.getDefaultConf



安装包
链接:https://pan.baidu.com/s/1dbO8bh20R_9wFgf7_m9zhQ?pwd=4alo
提取码:4alo