Hadoop yarn
Hadoop YARN（Yet Another Resource Negotiator）是 Apache Hadoop 生态系统的核心资源调度与管理框架，作为 Hadoop 2.0 及后续版本的标志性组件，它实现了资源管理与任务计算的解耦，为大数据集群提供了统一、弹性、高效的资源调度能力。
一、核心架构与组件
YARN 采用主从架构设计，核心由三大组件构成，各组件分工明确、协同工作：
- ResourceManager（RM）作为集群的全局资源管理器，负责整个集群的资源（CPU、内存、磁盘、网络等）统一分配与调度。其核心功能包括：接收客户端任务提交请求；根据集群资源状态和调度策略，将资源分配给各个应用；管理 ApplicationMaster 的生命周期；通过调度器（Scheduler）实现资源的公平或容量分配。
- NodeManager（NM）部署在集群每一个节点上的本地资源与容器管理器，是 ResourceManager 在节点上的代理。主要职责为：接收 ResourceManager 的资源分配指令；创建和管理容器（Container，YARN 的资源分配基本单位，封装了 CPU、内存等资源）；监控容器的资源使用情况和任务运行状态，并实时向 ResourceManager 反馈；负责节点上任务的启动、停止与清理工作。
- ApplicationMaster（AM）为每个提交到 YARN 的应用程序（如 MapReduce 作业、Spark 任务、Flink 任务等）启动的专属 “应用管家”。核心作用是：向 ResourceManager 申请运行任务所需的容器资源；与 NodeManager 通信，在分配到的容器中启动具体的任务执行进程；监控任务的运行状态，负责任务的容错与重试；任务完成后，向 ResourceManager 注销并释放资源。
二、核心特性
- 资源管理与计算解耦打破了 Hadoop 1.0 中 MapReduce 框架 “资源调度 + 计算执行” 一体化的局限，使 YARN 成为独立的资源调度平台。无论是 MapReduce 这类批处理框架，还是 Spark、Flink、Storm 等实时计算、流计算框架，均可接入 YARN 实现资源共享，大幅提升了集群的灵活性与兼容性。
- 统一资源调度支持对集群多维度资源（CPU、内存、GPU 等）的标准化管理，可根据应用需求精准分配资源。同时支持多租户模式，通过队列划分实现不同团队、不同业务的资源隔离，避免单一应用独占集群资源，保障集群资源利用率与业务稳定性。
- 弹性伸缩与动态调度支持任务运行过程中的资源动态调整：当任务负载升高时，可自动申请更多容器资源；当负载降低时，主动释放闲置资源，实现资源的弹性供给，降低集群运维成本。
- 高容错性ResourceManager 支持主备模式（Active-Standby），当主节点故障时，备节点可快速切换接管工作，避免集群服务中断；ApplicationMaster 支持故障重启，任务执行失败时可重新申请资源重试，保障任务的高可用性。
三、核心应用场景
- 大规模批处理任务调度作为 MapReduce 2.0 的默认调度平台，支撑 PB 级以上海量数据的离线分析、日志统计、数据清洗等批处理任务，通过资源合理分配提升任务执行效率。
- 多计算框架混合部署实现 Spark、Flink、Hive、Tez 等多种计算框架在同一集群的共存与资源共享，满足企业离线计算、实时计算、交互式查询等多样化的大数据处理需求。
- 企业级多租户资源管理面向大型企业或云平台场景，通过队列配额、资源权限管控，为不同部门或用户分配独立资源池，保障核心业务的资源优先级，实现集群资源的精细化运营。
- 弹性大数据集群运维结合云原生技术，支持 YARN 集群的动态扩缩容，应对业务高峰期的资源需求波动，降低非高峰期的资源闲置成本。
四、核心价值
YARN 解决了 Hadoop 1.0 时代集群资源利用率低、计算框架单一、扩展性差等痛点，通过统一的资源调度架构，让 Hadoop 集群从 “单一批处理平台” 升级为多负载融合的大数据计算平台，为企业构建高效、灵活、可扩展的大数据基础设施提供了核心支撑。