Spark 如何与 Hadoop集成?

提问者:帅平 问题分类:面试刷题
Spark 如何与 Hadoop集成?
1 个回答
去
HDFS:Spark 可以使用 Hadoop Distributed File System(HDFS)作为其文件系统。使用 SparkContext 的 textFile 方法,可以从 HDFS 中读取数据。同时,Spark 可以将结果写回到 HDFS。
YARN:Spark 可以运行在 YARN 上,作为 YARN 上的一个应用程序。YARN 是 Hadoop 的资源管理器,可以管理计算资源,并协调在集群上运行的应用程序。
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答