1 个回答
可以从以下几个点去进行优化:
1、并行度设置上,Paimon的写入并行度与桶数量密切相关,所以sink的并行度最好等于bucket的数量;
2、开启本地合并(Local Merging),在数据按桶分区之前对输入记录进行缓冲和合并,可以从从64MB开始调整,逐步优化;
3、选择合适的文件编码和压缩格式。
发布于:22小时前 IP属地:四川省
我来回答
您需要 登录 后回答此问题!