flink中的状态快照其实就是用于获取并存储分布式管道中整体的状态,将数据源中消费数据的偏移量记录下来,并将整个作业图中算子获取到该数据时的状态记录并存储下来。
在发生故障时,Flink作业会恢复上次存储的状态,重置数据源从“状态中记录的上次消费的偏移量”开始重新进行消费处理。另外,“状态快照”在执行时会异步获取状态并存储,并且不会阻塞正在进行的数据处理逻辑。
通过将“状态快照”和“流重放”两种方式进行组合,Flink能够提供可容错的“精确一次”语义,即通过“状态快照”实现容错处理。
flink中的状态快照其实就是用于获取并存储分布式管道中整体的状态,将数据源中消费数据的偏移量记录下来,并将整个作业图中算子获取到该数据时的状态记录并存储下来。
在发生故障时,Flink作业会恢复上次存储的状态,重置数据源从“状态中记录的上次消费的偏移量”开始重新进行消费处理。另外,“状态快照”在执行时会异步获取状态并存储,并且不会阻塞正在进行的数据处理逻辑。
通过将“状态快照”和“流重放”两种方式进行组合,Flink能够提供可容错的“精确一次”语义,即通过“状态快照”实现容错处理。
还没有评论,来说两句吧...