1 个回答
Doris flink connector的精准一次依赖于2pc 的机制来实现的。具体流程如下:
1、首先Flink任务启动后便会发起一个stream load的parper请求,此时会先开启一个事务,同时通过http的chunked机制往doris中写入数据
2、在checkpoint时,结束数据的写入,同时完成http的请求,事务状态会变更为precommitted,此时数据已经写入be,但对用户不可见
3、checkpnint完成后,发起commit请求,并且更改事务状态为commited,完成后数据对用户可见
4、如果过程中Flink任务意外挂掉,从ckeckpoint重启时,若上次的事务状态为precommitted状态,则会触发回滚请求,并且设置事务状态为aborted
发布于:3个月前 (02-06) IP属地:四川省
我来回答
您需要 登录 后回答此问题!