1 个回答
在性能优化方面,Doris在远程IO、数据缓存、元数据缓存方面都做了非常多的工作。
1、IO优化:针对 HDFS 或者对象存储系统的特性,Doris 实施了涵盖小 IO 合并、IO 预取、延迟物化等诸多优化举措,助力用户在未命中缓存的情况下读取远端数据时,依旧能够实现较为良好的吞吐效果或者较低的延迟。
2、数据缓存:Doris 内置有轻量的本地数据缓存功能,能够将远端存储的热点数据块缓存至本地高速磁盘。对于热点数据的查询,若命中缓存,其查询性能可与 Doris 内表格式相媲美。
3、元数据缓存:无论访问 DLF 还是其他元数据服务,远端访问的稳定性往往难以得到切实保证。鉴于此,团队在 Doris 内部实施了元数据缓存操作,对分区信息以及文件列表信息进行缓存,从而避免频繁进行文件列表操作,以实现大表能够在毫秒级时间内返回查询计划或者所需访问的文件列表等内容。
4、物化视图:Doris 支持基于 Paimon、Iceberg、Hive 等表格式构建异步物化视图,并支持分区级别的增量构建。物化视图使用 Doris 内部格式存储,用户可以直接查询物化视图的数据获得最佳的查询能性能。也可以通过透明改写能力,在不改变原始查询语句的情况下,由 Doris 的查询优化器将查询自动路由到最合适的物化视图上,进行透明查询加速。
发布于:2周前 (04-17) IP属地:
我来回答
您需要 登录 后回答此问题!