全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Spark的Checkpoint作用是什么？

提问者：帅平问题分类：面试刷题

Spark面试题

发布于：1年前 (2023-03-27) IP属地：四川省

1 个回答

浅语望月

Checkpoint的作用可以总结为以下几点：

1.通过避免长时间的RDD依赖链，减少RDD计算时间。
2.通过将RDD数据物化到磁盘上，减少内存占用和GC压力。
3.在任务执行时出现故障或者其他情况时，可以重新计算丢失的数据，提高任务的容错性。

发布于：1年前 (2023-03-27) IP属地：四川省

我来回答