doris导入数据的时候报错，提示：fetch failed due to requested offset not available on the broker
doris导入数据的时候报错，提示：
有没有人遇到过这种错误,怎么解决的?
ErrorReason{code=errCode = 104, msg='be 10002 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range'} doris 的routine load有没有人遇到过这种错误,怎么解决的?
发布于：7个月前 (09-27) IP属地：四川省
3 个回答
Routine Load报[broker:Offset Out of range] 原因：
routine load 记录的偏移量和kafka group 已经committed的offset是一致的，由于kafka的数据清理机制（有没有消费都会清理），记录的偏移量下一个offset被清理导致的这个异常 。
kafka清理时间设置过短，数据积压严重，也会导致此类异常出现。
解决方案：查看kafka 现阶段最小偏移量，使用alter routine load job，重新设置偏移量，恢复routine load job即可。
routine load 记录的偏移量和kafka group 已经committed的offset是一致的，由于kafka的数据清理机制（有没有消费都会清理），记录的偏移量下一个offset被清理导致的这个异常 。
kafka清理时间设置过短，数据积压严重，也会导致此类异常出现。
解决方案：查看kafka 现阶段最小偏移量，使用alter routine load job，重新设置偏移量，恢复routine load job即可。
发布于：7个月前 (09-27) IP属地：四川省
如果是Duplicate Key模型 如果偏移量设置不当的，会重复消费入库的吧?
发布于：7个月前 (09-27) IP属地：四川省
如果是Duplicate Key模型 如果偏移量设置不当的，会重复消费入库的吧?
会的， 明细模型本身没有聚合去重能力、需要上游控制或者在后面的dw层进行清洗
发布于：7个月前 (09-27) IP属地：四川省
我来回答
您需要 登录 后回答此问题！