Spark Standalone 和 YARN 部署模式有什么区别?

提问者:帅平 问题分类:面试刷题
Spark Standalone 和 YARN 部署模式有什么区别?
1 个回答
扎起头发是矫情
扎起头发是矫情
Spark Standalone和YARN是Apache Spark可以运行的两种部署模式,它们有以下的区别:
1.资源管理:Spark Standalone是Spark自带的资源管理器,而YARN则是Apache Hadoop的资源管理器。这意味着在Spark Standalone模式下,Spark可以独立地管理资源,而在YARN模式下,Spark需要与Hadoop共享资源。
2.集群管理:在Spark Standalone模式下,需要手动启动和停止集群,而在YARN模式下,可以利用Hadoop的自动集群管理功能。
3.资源隔离:在YARN模式下,可以为每个应用程序分配独立的资源,而在Spark Standalone模式下,资源是在整个集群中共享的。
4.调度器:在Spark Standalone模式下,使用的是Spark自己的调度器,而在YARN模式下,使用的是YARN的调度器。
5.易用性:Spark Standalone模式比YARN模式更容易设置和管理,但是在大型Hadoop集群中,使用YARN模式可以更好地利用现有的基础设施。

总的来说,两种部署模式各有优劣,需要根据具体的应用场景和需求选择合适的模式。
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答