全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Paimon中每个表的每个buckets中的数据一般多少合适？

提问者：帅平问题分类：大数据

Paimon 数据湖

发布于：4个月前 (12-20) IP属地：四川省

2 个回答

剪段光缓缓流淌

建议每个桶中的数据大小约为200MB-1GB。在实际情况中需要根据需要来进行涉及，比如下面的公式：

Math.abs(key_hashcode % numBuckets)

桶的数量过多会导致太多小文件，而桶的数量过少会导致写入性能差。

发布于：4个月前 (12-20) IP属地：四川省

我来回答