简述下Spark中的缓存(cache和persist)与checkpoint机制,并指出两者的区别和联系

提问者:帅平 问题分类:面试刷题

简述下Spark中的缓存(cache和persist)与checkpoint机制,并指出两者的区别和联系

1 个回答
西瓜女皇
西瓜女皇

关于Spark缓存和检查点的区别,大致可以从这3个角度去回答:

位置

Persist 和 Cache将数据保存在内存,Checkpoint将数据保存在HDFS

生命周期

Persist 和 Cache  程序结束后会被清除或手动调用unpersist方法,Checkpoint永久存储不会被删除。

RDD依赖关系

Persist 和 Cache,不会丢掉RDD间的依赖链/依赖关系,CheckPoint会斩断依赖链。

发布于:3周前 (02-27)
我来回答