全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Paimon中如何更改某张表的分桶数量？

提问者：帅平问题分类：大数据

由于建表初期设置的桶数量较少，现在随着时间的推移，表数据越来越多，需要重新分桶了，有没有什么办法调整修改某张表的分桶数量？

Paimon 数据湖

发布于：4个月前 (12-20) IP属地：四川省

1 个回答

♀如此美

方案1；重新创建表，把数据导入进去。
方案2：paimon提供有重置桶数量的方法：

-- 重新调整总的桶数量
ALTER TABLE table_identifier SET ('bucket' = '...');
-- 重新组织表/分区的数据布局
INSERT OVERWRITE table_identifier [PARTITION (part_spec)]SELECT ... FROM table_identifier[WHERE part_spec];

但是要注意：

1、ALTER TABLE 只修改表的元数据，不会重新组织或重新格式化已存在的数据。要重新组织已存在的数据，必须使用 INSERT OVERWRITE。
2、调整桶数量不会影响读取和正在进行的写入作业。
3、一旦桶数量发生变化，任何写入未重新组织的现有表/分区的  新启动的 INSERT INTO 作业将抛出一个TableException，此时需要重新组织已存在的数据。
4、在覆盖期间，确保没有其他作业写入相同的表/分区。

发布于：4个月前 (12-20) IP属地：四川省

我来回答