1 个回答
1、反压会导致流处理作业数据延迟的增加
2、影响到Checkpoint,导致状态数据保存不了,如果上游是Kafka数据源,在一致性的要求下,可能会导致offset的提交不上
2、影响到Checkpoint,导致状态数据保存不了,如果上游是Kafka数据源,在一致性的要求下,可能会导致offset的提交不上
原因: 由于Flink的Checkpoing机制需要进行Barrier对齐,如果此时某个Task出现了背压,Barrier流动的速度就会变慢,导致Checkpoing整体时间变长,如果背压很严重,还有可能导致Checkpoing超时失败
3、影响state的大小,还是因为checkpoing barrier对齐要求。导致state变大原理: 接受到较快的输入管道的barrier后,他后面数据会被缓存起来但不处理,直到较慢的输入管道的barrier也到达,这些被缓存的数据会被放到state里面,导致state变大。
发布于:2个月前 (02-06) IP属地:四川省
我来回答
您需要 登录 后回答此问题!