Flink的反压有哪些影响?

提问者:帅平 问题分类:面试刷题
Flink的反压有哪些影响?
1 个回答
♀如此美
♀如此美
1、反压会导致流处理作业数据延迟的增加
2、影响到Checkpoint,导致状态数据保存不了,如果上游是Kafka数据源,在一致性的要求下,可能会导致offset的提交不上
原因: 由于Flink的Checkpoing机制需要进行Barrier对齐,如果此时某个Task出现了背压,Barrier流动的速度就会变慢,导致Checkpoing整体时间变长,如果背压很严重,还有可能导致Checkpoing超时失败
3、影响state的大小,还是因为checkpoing barrier对齐要求。导致state变大​
原理: 接受到较快的输入管道的barrier后,他后面数据会被缓存起来但不处理,直到较慢的输入管道的barrier也到达,这些被缓存的数据会被放到state里面,导致state变大。
发布于:2个月前 (02-06) IP属地:四川省
我来回答