全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Hudi是如何实现Data Skipping的？

提问者：帅平问题分类：大数据

数据湖 Hudi

发布于：10个月前 (06-24) IP属地：

1 个回答

羡风不停留

Hudi 主要通过以下方式实现Data Skipping：
1、Min-Max Index

查询时利用 Min-Max 索引快速判断文件内数据是否与查询条件相交，如果完全不相交，则跳过该文件。

2、Column Statistics

对数值型或日期型字段统计平均值、标准差、分位数等统计信息，辅助查询优化器做出更准确的成本估算，决定是否跳过部分数据。

发布于：10个月前 (06-24) IP属地：

我来回答