全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

如何增大paimon的写入性能？

提问者：帅平问题分类：大数据

如何增大paimon的写入性能？

Paimon

发布于：2年前 (2023-09-06) IP属地：四川省

3 个回答

一鹿有晗

Option 'changelog-producer' = 'lookup' or 'full-compaction'、和 option'full-compaction.delta-commits'对写入性能影响较大，如果是快照/全同步阶段可以取消设置这些选项，然后在增量阶段再次启用它们。

发布于：2年前 (2023-09-06) IP属地：四川省

我是蓝天i

增大表的write-buffer-size，修改语句如下：

ALTER TABLE my_table SET (
    'write-buffer-size' = '256 MB'
);

发布于：2年前 (2023-09-06) IP属地：四川省

得治

如果不增大这个buffer-size的话，可以启用 write-buffer-spillable

ALTER TABLE test_table SET (
    'write-buffer-spillable' = 'true'
);

发布于：2年前 (2023-09-06) IP属地：四川省

没你的江山怎么画

增大checkpoint的间隔时间

set execution.checkpointing.interval= 60s

增大current checkpoint

set execution.checkpointing.max-concurrent-checkpoints =3

或者使用批量模式。

发布于：2年前 (2023-09-06) IP属地：四川省

我来回答