编辑“︁YARN资源调度”︁

= YARN资源调度 =

== 概述 ==
'''YARN（Yet Another Resource Negotiator）'''是Hadoop生态系统中的核心资源管理系统，负责集群资源的统一管理和调度。YARN资源调度是指通过特定的调度策略（如FIFO、Capacity Scheduler、Fair Scheduler）将集群资源（CPU、内存等）分配给多个应用程序（如MapReduce、Spark等）的过程。其核心目标是提高集群资源利用率，同时支持多租户和多样化工作负载。

== 核心组件 ==
YARN的资源调度涉及以下关键组件：
* '''ResourceManager (RM)'''：全局资源管理器，负责资源分配和调度。
* '''NodeManager (NM)'''：单个节点上的资源代理，负责容器（Container）的生命周期管理。
* '''ApplicationMaster (AM)'''：每个应用程序的协调者，向RM申请资源并与NM协作执行任务。

<mermaid>
graph TD
    RM[ResourceManager] -->|分配资源| AM[ApplicationMaster]
    AM -->|启动/监控任务| NM[NodeManager]
    NM -->|报告资源状态| RM
</mermaid>

== 调度器类型 ==
YARN支持多种调度器，以下是三种主要类型：

=== 1. FIFO调度器 ===
按提交顺序依次分配资源，简单但可能导致资源饥饿。
* 缺点：长任务会阻塞短任务。

=== 2. Capacity调度器 ===
将集群资源划分为多个逻辑队列，每个队列有固定资源配额。
* 特点：支持多租户，资源隔离。
* 配置示例（{{code|capacity-scheduler.xml}}）：
<syntaxhighlight lang="xml">
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>prod,dev</value>
</property>
<property>
    <name>yarn.scheduler.capacity.root.prod.capacity</name>
    <value>70</value>
</property>
</syntaxhighlight>

=== 3. Fair调度器 ===
动态平衡资源分配，确保所有应用程序公平共享资源。
* 特点：适合混合工作负载（如交互式查询+批处理）。
* 权重配置示例：
<syntaxhighlight lang="xml">
<property>
    <name>yarn.scheduler.fair.allocation.file</name>
    <value>/etc/hadoop/fair-scheduler.xml</value>
</property>
</syntaxhighlight>

== 资源请求模型 ==
应用程序通过'''ResourceRequest'''向RM申请资源，指定以下参数：
* 资源量（如内存、CPU核数）
* 优先级（Priority）
* 数据本地性（如<code>NODE_LOCAL</code>, <code>RACK_LOCAL</code>）

示例代码（Java API）：
<syntaxhighlight lang="java">
ResourceRequest request = ResourceRequest.newInstance(
    Priority.newInstance(1),  // 优先级
    "hdfs://node1:8020/data", // 数据位置
    Resource.newInstance(1024, 1), // 1GB内存 + 1核
    1  // 副本数
);
</syntaxhighlight>

== 实际案例 ==
'''场景：'''一个电商平台使用YARN同时运行实时推荐（Spark）和离线报表（MapReduce）。
* '''问题：'''离线任务占用全部资源导致实时任务延迟。
* '''解决方案：'''采用Fair调度器，配置权重：
  * Spark队列：权重60%（优先保障实时性）
  * MapReduce队列：权重40%

== 高级配置 ==
=== 资源限制 ===
通过以下参数控制单个应用程序的资源使用：
* <code>yarn.scheduler.maximum-allocation-mb</code>：单个容器最大内存（默认8GB）
* <code>yarn.scheduler.minimum-allocation-mb</code>：单个容器最小内存（默认1GB）

=== 动态资源分配 ===
Spark等框架支持运行时调整资源请求：
<syntaxhighlight lang="scala">
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.initialExecutors=2
</syntaxhighlight>

== 数学建模 ==
YARN调度可抽象为'''背包问题'''的变体：
<math>
\text{最大化} \sum_{i=1}^n v_i x_i \quad \text{约束于} \quad \sum_{i=1}^n w_i x_i \leq W
</math>
其中：
* <math>v_i</math>：应用程序i的优先级权重
* <math>w_i</math>：应用程序i的资源需求
* <math>W</math>：集群总资源

== 常见问题 ==
{| class="wikitable"
|-
! 问题 !! 解决方案
|-
| 资源碎片化 || 启用资源预留（Reservation System）
|-
| 调度延迟 || 调优<code>yarn.scheduler.fair.preemption</code>
|}

== 总结 ==
YARN资源调度是Hadoop多任务并行执行的核心机制。通过合理选择调度器和配置参数，可以平衡资源利用率、公平性和响应速度。初学者应从Capacity/Fair调度器入手，逐步掌握高级特性如动态资源分配。

[[Category:大数据框架]]
[[Category:Apache Hadoop]]
[[Category:Yarn资源管理]]