1 个回答
Checkpoint的作用可以总结为以下几点:
1.通过避免长时间的RDD依赖链,减少RDD计算时间。
2.通过将RDD数据物化到磁盘上,减少内存占用和GC压力。
3.在任务执行时出现故障或者其他情况时,可以重新计算丢失的数据,提高任务的容错性。
发布于:2年前 (2023-03-27) IP属地:四川省
我来回答
您需要 登录 后回答此问题!