全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

flink消费kafka的数据写入iceberg，数据量大导致OOM了怎么办？

提问者：帅平问题分类：大数据

flink读取kafka数据，由于一些原因需要将kafka重新消费kafka的历史数据，
由于消费的数据量较大，flink会全力消费数据，这个时候回导致flink的taskmanager OOM（java.lang.OutOfMemoryError: Java heap space
）
这个一般怎么处理？限速吗？这个一般怎么处理

发布于：3个月前 (01-22) IP属地：四川省

1 个回答

ε小仙女з

可以考虑限速，把flink的source并行度调低一点即可。

发布于：3个月前 (01-22) IP属地：四川省

我来回答