Hudi是如何实现Data Skipping的?

提问者:帅平 问题分类:大数据
Hudi是如何实现Data Skipping的?
1 个回答
羡风不停留
羡风不停留
Hudi 主要通过以下方式实现Data Skipping:
1、Min-Max Index
查询时利用 Min-Max 索引快速判断文件内数据是否与查询条件相交,如果完全不相交,则跳过该文件。
2、Column Statistics
对数值型或日期型字段统计平均值、标准差、分位数等统计信息,辅助查询优化器做出更准确的成本估算,决定是否跳过部分数据。
发布于:4周前 (06-24) IP属地:
我来回答