park读取paimon的数据来跑批耗时太久,导致源数据的snapshot已经过期了,找不到对应的数据了

提问者:帅平 问题分类:大数据
你们有没有遇到过这样的问题,spark读取paimon的数据来跑批,但是spark的任务耗时都比较久7-8个小时,这样就会导致源数据的snapshot已经过期了,找不到对应的数据了,现在怎么办?
1 个回答
温柔刀下鬼
温柔刀下鬼
我也遇到过,要么调整快照保留策略 要么优化读取
发布于:4小时前 IP属地:四川省
我来回答