Flink写入clickhouse的数据应该用什么策略提高写入性能?

提问者:帅平 问题分类:大数据
Flink写入clickhouse的数据应该用什么策略提高写入性能?
1 个回答
忆雪
忆雪
ck提倡低频、大批量写,每秒钟只写几次,每次插入上万、十万条数据,这是比较合适的。因为如果稍微了解一下底层原理就知道,ck会间隔合并数据块,不宜频繁写入导致频繁合并,影响性能。
在使用Flink导入数据的过程中,需要攒数据,批量写,我们通过Flink窗口函数积累数据,每次写5秒钟的一批数据。
发布于:1个月前 (03-19) IP属地:未知
我来回答