在hadoop2.x的版本开始,引入了yarn框架。这个框架主要是一个通用的资源管理和任务调度的平台,从hadoop2.x的版本开始,所有的mapreduce任务都运行在yarn上。
当然在yarn上支持运行多种计算框架,例如:
Mapreduce task Tez Spark Job 等等
同时我们还可以运行自己的框架,只需要实现yarn上所定义的接口即可。
yarn的优点如下:
⽀持多种计算框架YARN是通⽤的资源管理和任务调度平台,只要实现了YARN的接⼝的计算框 架都可以运⾏在YARN上。 资源利⽤率⾼多种计算框架可以共⽤⼀套集群资源,让资源充分利⽤起来,提⾼了利⽤率。 运维成本低避免⼀个框架⼀个集群的模式,YARN降低了集群的运维成本。 数据可共享共享集群模式可以让多种框架共享数据和硬件资源,减少数据移动带来的成本。
还没有评论,来说两句吧...