spark集群部署方式有哪些?分别有什么特点?

提问者:帅平 问题分类:大数据
spark集群部署方式有哪些?分别有什么特点?
1 个回答
与酒
与酒
Spark集群部署方式有三种,分别是:
1、standalone方式
Spark 独立部署意味着 Spark 占据 HDFS(Hadoop分布式文件系统)顶部的位置,并明确为 HDFS 分配空间。这里,Spark 和 MapReduce 将并行运行以覆盖集群上的所有 Spark 作业。

2、Hadoop on Yarn方式
Hadoop Yarn 部署意味着,Spark 只需运行在 Yarn 上,无需任何预安装或根访问。它有助于将 Spark 集成到 Hadoop 生态系统或 Hadoop 堆栈中。它允许其他组件在堆栈顶部运行。

3、Spark in MapReduce(SIMR)方式
MapReduce 中的 Spark 用于在独立部署之外启动 Spark job 。使用 SIMR,用户可以启动 Spark 并使用其 shell 而无需任何管理访问。
发布于:1年前 (2023-01-10) IP属地:四川省
我来回答