生产中如何选择Spark的部署模式?

提问者:帅平 问题分类:面试刷题
生产中如何选择Spark的部署模式?
1 个回答
本姑娘贼稳妥
本姑娘贼稳妥
对于给定的用例,应该根据以下因素来选择合适的部署模式:
1.数据规模:如果数据规模很小,则可以使用 Local 模式。如果数据规模很大,则需要使用分布式模式。
2.资源管理:如果已经使用了 Hadoop 或 Mesos 集群,则可以使用相应的模式。如果没有现成的集群,则可以使用 Standalone 模式或 Kubernetes 模式。
3.部署环境:部署环境也是选择部署模式的重要因素。例如,如果要在云平台上部署 Spark 应用程序,则可能更适合使用 Kubernetes 模式。
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答