Doris中创建表的时候分桶数如何权衡?

提问者:帅平 问题分类:数据库
Doris中创建表的时候分桶数如何权衡?大家有没有什么经验?
1 个回答
有个笨蛋住进我心
有个笨蛋住进我心
可以参考这个公式:
Tablet数 = 分区数 * 桶数 * 副本数
1TB 数据的 Tablet 数量控制在 8000 个左右(三副本控制到 2.4W 左右)
建议大表的单个 Tablet 存储数据大小在 1G-10G 区间,可防止过多的小文件产生
建议百兆左右的维表 Tablet 数量控制在 3-5 个,保证一定的并发数也不会产生过多的小文件
发布于:10个月前 (09-21) IP属地:四川省
`小囡
`小囡
如果是按日增或者月增的数据如何控制桶的数量?
发布于:10个月前 (09-21) IP属地:四川省
帅的被人砍
帅的被人砍
如果是按日增或者月增的数据如何控制桶的数量?
可以考虑自动分桶,也可以按天分区 每个分区根据预估数据量设置桶数
发布于:10个月前 (09-21) IP属地:四川省
也不长发及腰
也不长发及腰
如果是按日增或者月增的数据如何控制桶的数量?
建议百兆左右的维表 Tablet 数量控制在 3-5 个,保证一定的并发数也不会产生过多的小文件
如果不做关联的话,小数据量表的数量没限制吧
发布于:10个月前 (09-21) IP属地:四川省
ヤ
建议百兆左右的维表 Tablet 数量控制在 3-5 个,保证一定的并发数也不会产生过多的小文件
如果不做关联的话,小数据量表的数量没限制吧
嗯嗯 没什么限制;
不过还是建议合理设置吧,不然tablet过多会导致元数据负载;
另外,fe默认会5分钟从所有be获取tablet统计信息,tablet过多会导致fe gc啥的~
发布于:10个月前 (09-21) IP属地:四川省
我来回答