前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
由于项目上主要用Hive查询Hudi,所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求,并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表,于是进行学习总结一下。
编程方式(DF+SQL)
先看一下官方文档上Spark SQL增量查询的方式,地址:https://hudi.apache.org/cn/docs/quick-start-guide#incremental-query 和 https://hudi.apache.org/cn/docs/querying_data#incremental-query
它是先通过spark.read中添加增量参数的形式读Hudi表为DF,然后将DF注册成临时表,最后通过Spark SQL查询临时表的形式,实现增量查询的。
参数
- hoodie.datasource.query.type=incremental 查询类型,值为incremental时代表增量查询,默认值snapshot,增量查询时,该参数必填
- hoodie.datasource.read.begin.instanttime 增量查询开始时间,必填 例如:20221126170009762
- hoodie.datasource.read.end.instanttime 增量查询结束时间,非必填 例如:20221126170023240
- hoodie.datasource.read.incr.path.glob 增量查询指定分区路径,非必填 例如 /dt=2022-11*/*
查询范围 (BEGIN_INSTANTTIME,END_INSTANTTIME],也就是大于开始时间(不包含),小于等于结束时间(包含),如果没有指定结束时间,那么查询大于BEGIN_INSTANTTIME到现在为止最新的数据,如果指定INCR_PATH_GLOB,那么只在指定分区路径下面查询对应的数据。
代码示例
1 | import org.apache.hudi.DataSourceReadOptions.{BEGIN_INSTANTTIME, END_INSTANTTIME, INCR_PATH_GLOB, QUERY_TYPE, QUERY_TYPE_INCREMENTAL_OPT_VAL} |
结果:
1 | +-------------------+--------------------+------------------+----------------------+--------------------+---+----+-----+---+----------+ |
注释掉INCR_PATH_GLOB,结果:
1 | +-------------------+--------------------+------------------+----------------------+--------------------+---+----+-----+---+----------+ |
继续注释掉END_INSTANTTIME,结果:
1 | 20221127161253433 |
可以看到不包含起始时间,包含结束时间。
纯SQL方式
一般项目上都采用纯SQL方式进行增量查询,这样比较方便,纯SQL的方式参数和上面讲的参数是一样的,接下来看一下怎么用纯SQL方式实现
建表造数
1 | create table hudi.test_hudi_incremental ( |
看一下有哪些commit_time
1 | select distinct(_hoodie_commit_time) from test_hudi_incremental order by _hoodie_commit_time |
1 | +----------------------+ |
纯SQL方式(一)
使用Call Procedures:copy_to_temp_view、copy_to_table,目前这两个命令已经合到master,由scxwhite 苏乘祥贡献,这俩参数差不多,建议使用copy_to_temp_view,因为copy_to_table会先将数据落盘而copy_to_temp_view是创建的临时表,效率会高一点,且数据落盘无意义,后面还要将落盘的表删掉。
支持的参数
- table
- query_type
- view_name
- begin_instance_time
- end_instance_time
- as_of_instant
- replace
- global
测试SQL:
1 | call copy_to_temp_view(table => 'test_hudi_incremental', query_type => 'incremental', |
结果:
1 | +----------------------+-----+-------+--------+-------+-------------+ |
可以看到这种方式是可以实现增量查询的,但是需要注意,如果需要修改增量查询的起始时间,那么就需要重复执行copy_to_temp_view,但是因为临时表temp_incremental已经存在,要么新起个表名,要么先删掉,再创建新的,我建议先删掉,通过下面的命令删除
1 | drop view if exists temp_incremental; |
纯SQL方式(二)
PR地址:https://github.com/apache/hudi/pull/7182,这个PR同样由scxwhite贡献,目前只支持Spark3.2以上的版本(目前社区未合并)
增量查询SQL
1 | select id, name, price, ts, dt from tableName |
这种方式,是支持了一种新的语法,在查询SQL后通过在[]添加参数的形式,感兴趣的话可以拉一下代码,自己打包试一下。
纯SQL方式(三)
使用 Spark SQL Hint实现,具体实现方式,请查看KnightChess的这篇文章如何使用 Spark SQL Hint 对 Hudi 进行增量查询、时间旅行
最终的效果如下
1 | select |
是在hint中添加增量查询相关的参数,先指定表名再写参数,但是文章好像未给出完整的代码地址,大家有时间可以自己试一下。
纯SQL方式(四)
这种方式,是我按照Hive增量查询Hudi的方式修改的源码,通过set的方式实现增量查询。
PR地址:https://github.com/apache/hudi/pull/7339
关于为啥目前不能通过set参数进行增量查询,这里说明一下:根据文章Hudi Spark SQL源码学习总结-select(查询),可知Hudi的
DefaultSource.createRelation中的optParams参数为readDataSourceTable中的options = table.storage.properties ++ pathOption,也就是表本身属性中的配置参数+path,之后在createRelation并没有接收其他参数,所以不能通过set参数的形式进行查询
和Hive增量查询一样,指定具体表名的增量查询参数
1 | set hoodie.test_hudi_incremental.datasource.query.type=incremental |
1 | +----------------------+-----+-------+--------+-------+-------------+ |
如果不同的库下面有相同的表名,则可以通过库名.表名的形式:
1 | ## 需要先开启使用数据库名称限定表名的配置,开启后上面不加库名的配置就失效了 |
1 | +----------------------+-----+-------+--------+-------+-------------+ |
大家可以自己试一下,不同的库表关联的情形
这里需要注意一点,更新参数后,需要先refresh table,再查询,否则查询时修改的参数不生效,因为会使用缓存中的参数。
这种方式只是简单地修改了一下源码,使set的参数对查询生效。
为了避免有些读者嫌打包麻烦,这里给大家提供了hudi-spark3.1-bundle_2.12-0.13.0-SNAPSHOT.jar的下载地址:https://download.csdn.net/download/dkl12/87221476
总结
本文总结了Spark SQL增量查询Hudi表的一些参数设置,并给出了示例,介绍了使用纯Spark SQL实现增量查询Hudi表的几种方式,不确定未来社区会采用哪种方式,大家目前如果有这种需求的话,可以先选择一种自己喜欢的方式,等未来社区版本支持后,再升级版本。本文没有涉及增量查询的原理,暂未验证增量查询的效率,是否可以起到文件过滤的效果,以后如果有时间会单独整理一篇。
相关阅读
- Apache Hudi 入门学习总结
- Hudi Spark SQL总结
- Hudi Spark SQL Call Procedures学习总结(一)(查询统计表文件信息)
- Spark3.12+Kyuubi1.5.2+kyuubi-spark-authz源码编译打包+部署配置HA
- Hudi Spark SQL源码学习总结-Create Table
- Hudi Spark SQL源码学习总结-CTAS
- Hudi Spark源码学习总结-df.write.format(“hudi”).save
- Hudi Spark源码学习总结-spark.read.format(“hudi”).load
- Hudi Spark源码学习总结-spark.read.format(“hudi”).load(2)
- Hudi Spark SQL源码学习总结-select(查询)