什么是yarn

本文概述

  • yarn的组成
  • yarn的好处
【什么是yarn】另一个资源管理器将编程提升到Java之外的新高度, 并使之具有交互性, 以使另一个应用程序Hbase, Spark等可以在其上工作。不同的Yarn应用程序可以共存于同一群集上, 因此MapReduce, Hbase, Spark都可以同时运行可带来可管理性和集群利用率的巨大优势。
yarn的组成
  • 客户端:用于提交MapReduce作业。
  • 资源管理器:管理整个集群中资源的使用
  • 节点管理器:用于启动和监视集群中计算机上的计算机容器。
  • Map Reduce Application Master:检查运行MapReduce作业的任务。应用程序主服务器和MapReduce任务在由资源管理器安排并由节点管理器管理的容器中运行。
Jobtracker和Tasktracker在Hadoop的早期版本中使用, 负责处理资源和检查进度管理。但是, Hadoop 2.0具有资源管理器和NodeManager来克服Jobtracker和Tasktracker的不足。
yarn的好处
  • 可伸缩性:Map Reduce 1达到了4000个节点和40000个任务时的可伸缩性瓶颈, 但是Yarn设计用于10, 000个节点和10万个任务。
  • 用途:节点管理器管理资源池, 而不是管理固定数量的指定插槽, 从而提高了利用率。
  • 多租户:不同版本的MapReduce可以在YARN上运行, 这使MapReduce的升级过程更易于管理。

    推荐阅读