kafka如何保证数据exactly-once?

提问者:帅平 问题分类:消息队列
kafka如何保证数据exactly-once?
3 个回答
小xの碎碎念
小xの碎碎念
Consumer exactly-once措施有:
手动维护并提交偏移量。
1:设置enable.auto.commit=false,关闭自动提交偏移量
2:借助外部数据库,如redis的pipeline,mysql的事务机制管理存储偏移量
在同一事务中,在消息被处理完之后在提交偏移量。并更新偏移量。
否则消息需回滚,并获取到上一次偏移量的位置从新进行处理。
发布于:9个月前 (07-28) IP属地:四川省
什么放弃治疗
什么放弃治疗
Producer exactly-once措施有:
enable.idempotence=true  
分区副本数>= 2
isr >=2
ProducerID+SequenceNumber+Ack=-1(幂等性)
发布于:9个月前 (07-28) IP属地:四川省
我来回答