前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
学习总结Hudi Spark SQL Call Procedures,Call Procedures在官网被称作存储过程(Stored Procedures),它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的,它除了官网提到的几个Procedures外,还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令,主要是查询统计表路径下的各种文件信息。
版本
Hudi master 0.13.0-SNAPSHOT
Spark 3.1.2 (实际上所有Hudi支持的Spark版本都支持Call Procedures)
Kyuubi 1.5.2 (使用Kyuubi是因为返回结果可以展示列名,Spark自带的spark-sql不返回列名)
参数形式
按名称传递参数,没有顺序,可以省略可选参数
1 | CALL system.procedure_name(arg_name_2 => arg_2, arg_name_1 => arg_1, ... arg_name_n => arg_n) |
按位置参数传递参数,有顺序,可以省略可选参数
1 | CALL system.procedure_name(arg_1, arg_2, ... arg_n) |
支持的Procedures命令
我们可以在类HoodieProcedures获取对应版本支持的所有的Procedures命令。目前支持如下:
1 | show_fs_path_detail |
具体的定义:
1 | private def initProcedureBuilders: Map[String, Supplier[ProcedureBuilder]] = { |
打印代码
1 | initProcedureBuilders.keySet.foreach(println) |
建表造数
1 | create table test_hudi_call_cow ( |
show_table_properties
查看表的properties,以key,value的形式返回hoodie.properties中表的配置
参数
- table 表名
- path 表路径
- limit 可选 默认值10
table和path两个参数必须得有一个,table的优先级高于path,即如果同时指定table和path,那么以table为准,path不生效。
输出返回字段:
key,value
示例
1 | call show_table_properties(table => 'test_hudi_call_cow'); |
默认展示前10条
1 | +--------------------------------------------------+----------------+ |
可以通过设置limit,将limit值设置大一点,查看所有的配置
1 | call show_table_properties(table => 'test_hudi_call_cow', limit => 100); |
1 | +--------------------------------------------------+----------------------------------------------------+ |
show_commits
参数
- table 表名 必选
- limit 默认值10 可选
输出返回字段:
commit_time,action,total_bytes_written,total_files_added,total_files_updated,total_partitions_written,total_records_written,total_update_records_written,total_errors
示例
1 | call show_commits(table => 'test_hudi_call_cow'); |
1 |
|
show_commits_metadata
和show_commits功能差不多,不同的是输出字段不一样,和show_commits一样都是通过ShowCommitsProcedures实现的,区别是show_commits_metadata的includeExtraMetadata为true,show_commits的includeExtraMetadata为false
参数
- table 表名 必选
- limit 默认值10 可选
输出返回字段:
commit_time,action,partition,file_id,previous_commit,num_writes,num_inserts,num_deletes,num_update_writes,total_errors,total_log_blocks,total_corrupt_log_blocks,total_rollback_blocks,total_log_records, total_updated_records_compacted,total_bytes_written
示例
1 | call show_commits_metadata(table => 'test_hudi_call_cow'); |
1 | +--------------------+---------+----------------+-----------------------------------------+--------------------+-------------+--------------+--------------+--------------------+---------------+-------------------+---------------------------+------------------------+--------------------+----------------------------------+----------------------+ |
show_commit_files
根据instantTime返回对应的文件信息,比如fileId
参数
- table 表名 必选
- instant_time 必选
- limit 默认10 可选
输出返回字段:
action,partition_path,file_id,previous_commit,total_records_updated,total_records_written,total_bytes_written,total_errors,file_size
示例
1 | call show_commit_files(table => 'test_hudi_call_cow', instant_time => '20221123205701931'); |
因为测试数据比较少件,且只有一个分区,,所以只有一个文件
1 | +---------+-----------------+-----------------------------------------+--------------------+------------------------+------------------------+----------------------+---------------+------------+ |
执行下面的sql,使一次commit涉及两个文件
1 | merge into test_hudi_call_cow as t0 |
先用show_commits查看最新的commit_time为20221123232449644
1 | call show_commits(table => 'test_hudi_call_cow', limit => 1); |
然后再用show_commit_files看一下20221123232449644对应的文件
1 | call show_commit_files(table => 'test_hudi_call_cow', instant_time => '20221123232449644'); |
show_commit_partitions
根据instantTime返回涉及的每个分区对应的文件和记录信息
参数
- table 表名 必选
- instant_time 必选
- limit 默认10 可选
输出返回字段:
action,partition_path,total_files_added,total_files_updated,total_records_inserted,total_records_updated,total_bytes_written,total_errors
示例
1 | call show_commit_partitions(table => 'test_hudi_call_cow', instant_time => '20221123232449644'); |
1 | +---------+-----------------+--------------------+----------------------+-------------------------+------------------------+----------------------+---------------+ |
show_commit_write_stats
根据instantTime返回write_stats
参数:
- table 表名 必选
- instant_time 必选
- limit 默认10 可选
输出返回字段:
action,total_bytes_written,total_records_written,avg_record_size
示例
1 | call show_commit_write_stats(table => 'test_hudi_call_cow', instant_time => '20221123232449644'); |
1 | +---------+----------------------+------------------------+------------------+ |
show_commit_extra_metadata
返回.commit、.deltacommit、.replacecommit中的extraMetadata
参数
- table 表名 必选
- instant_time 可选
- limit 默认100 可选
- metadata_key 可选 如schema
输出返回字段:
instant_time,action,metadata_key,metadata_value
默认返回最后一个commit文件中的extraMetadata,如果指定了instant_time,那么返回指定instant_time对应的commit文件中的extraMetadata
先看一下.commit里的内容,可以看到里面有一个extraMetadata,并且包含一个key:schema以及schema对应的value
1 | hadoop fs -cat hdfs://cluster1/warehouse/tablespace/managed/hive/hudi.db/test_hudi_call_cow/.hoodie/20221123232449644.commit |
示例
1 | call show_commit_extra_metadata(table => 'test_hudi_call_cow'); |
1 | +--------------------+---------+---------------+----------------------------------------------------+ |
1 | call show_commit_extra_metadata(table => 'test_hudi_call_cow', instant_time => '20221123205701931', metadata_key => 'schema', limit => 10); |
1 | +--------------------+---------+---------------+----------------------------------------------------+ |
我目前已知的extraMetadata中只有schema,且只有一条,所以只返回一条记录,且指定不指定metadata_key效果一样,不确定是否还有其他的extraMetadata
show_fs_path_detail
展示指定路径下面的文件和路径的统计信息,默认按照文件大小进行排序
返回.commit、.deltacommit、.replacecommit中的extraMetadata
参数
- path 表文件路径 必选
- is_sub 可选 是否查询子目录,只查询一级子目录 默认false
- sort 可选 是否按文件大小排序 默认true
- metadata_key 可选 如schema
输出返回字段:
instant_time,action,metadata_key,metadata_value
示例
1 | call show_fs_path_detail(path => 'hdfs://cluster1/warehouse/tablespace/managed/hive/hudi.db/test_hudi_call_cow'); |
查询一级子目录
1 | call show_fs_path_detail(path => 'hdfs://cluster1/warehouse/tablespace/managed/hive/hudi.db/test_hudi_call_cow', is_sub => true); |
查询二级子目录
1 | call show_fs_path_detail(path => 'hdfs://cluster1/warehouse/tablespace/managed/hive/hudi.db/test_hudi_call_cow/dt=2021-05-05', is_sub => true); |
相关阅读
- Apache Hudi 入门学习总结
- Hudi Spark SQL总结
- Spark3.12+Kyuubi1.5.2+kyuubi-spark-authz源码编译打包+部署配置HA
- Hudi Spark SQL源码学习总结-Create Table
- Hudi Spark SQL源码学习总结-CTAS
- Hudi Spark源码学习总结-df.write.format(“hudi”).save
- Hudi Spark源码学习总结-spark.read.format(“hudi”).load
- Hudi Spark源码学习总结-spark.read.format(“hudi”).load(2)
- Hudi Spark SQL源码学习总结-select(查询)
- Hudi源码 | Insert源码分析总结(二)(WorkloadProfile)
- 开源经验分享 | 如何从一名小白成为Apache Hudi Contributor