Doris创建表分桶的话,如何避免出现数据倾斜的问题?

提问者:帅平 问题分类:数据库
Doris创建表分桶的话,如何避免出现数据倾斜的问题?
1 个回答
凉眸似水°
凉眸似水°
考虑数据倾斜问题的话,可以从考虑如下几点:
1、如果分桶列是where中经常用到的列,且分桶列的重复度比较低(例如用户id、事物id等),则可以利用该列作为分桶列
2、如果查询条件中有city_id和site_id,city_id取值只有几十,如果仅仅使用city_id分桶,则可能出现某些桶的数据量会比较大,出现数据倾斜,这个时候可以考虑使用city_id和site_id联合作为分桶字段,不过这样做的缺点是如果查询条件中只有city_id的时候,没办法利用分桶裁剪
3、如果没有合适的字段作为分桶字段打散数据,可以利用random分桶,不过这样的话没办法利用分桶裁剪的属性
发布于:3个月前 (04-19) IP属地:四川省
我来回答