全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

简述下Spark中的缓存(cache和persist)与checkpoint机制，并指出两者的区别和联系

提问者：帅平问题分类：面试刷题

您阅读本篇文章共花了：

Spark

发布于：1年前 (2023-02-27) IP属地：四川省

1 个回答

西瓜女皇

关于Spark缓存和检查点的区别，大致可以从这3个角度去回答：
位置

Persist 和 Cache将数据保存在内存，Checkpoint将数据保存在HDFS

生命周期

Persist 和 Cache  程序结束后会被清除或手动调用unpersist方法，Checkpoint永久存储不会被删除。

RDD依赖关系

Persist 和 Cache，不会丢掉RDD间的依赖链/依赖关系，CheckPoint会斩断依赖链。

发布于：1年前 (2023-02-27) IP属地：四川省

我来回答