Spark 的动态资源分配在幕后是如何工作的?

提问者:帅平 问题分类:面试刷题
Spark 的动态资源分配在幕后是如何工作的?

 您阅读本篇文章共花了: 

1 个回答
下个站口、等迩
下个站口、等迩
Spark的动态资源分配是指Spark应用程序根据实际需求来分配Executor的数量,以最大化资源利用率和应用程序性能。动态资源分配的核心思想是根据应用程序的需要,调整集群中可用的Executor数量。
动态资源分配包括两个部分:资源申请和资源释放。资源申请时,Spark Driver会向集群管理器发送申请请求,要求增加可用Executor的数量;资源释放时,Spark会根据应用程序的需求,逐步降低可用Executor的数量。
发布于:1年前 (2023-03-27) IP属地:四川省
我来回答