编辑“︁Airflow部署架构”︁（章节）

= Airflow部署架构 =

'''Airflow部署架构'''是指Apache Airflow在生产环境中的组件布局与交互方式，它决定了系统的可扩展性、容错能力和资源利用率。本页面将详细介绍核心组件、常见部署模式及优化策略。

== 核心组件 ==
Airflow由以下关键组件构成：

{| class="wikitable"
|-
! 组件名称 !! 功能描述 !! 典型配置
|-
| '''Web Server''' || 提供图形化界面（DAG查看、任务触发等） || Gunicorn + 2-4 workers
|-
| '''Scheduler''' || 解析DAG、调度任务、触发执行 || 高CPU配置，建议独占节点
|-
| '''Executor''' || 实际执行任务的运行时环境 || 本地/Celery/Kubernetes
|-
| '''Metadata Database''' || 存储DAG元数据、任务状态等 || PostgreSQL/MySQL（推荐）
|-
| '''消息队列''' || 协调任务分发（仅分布式模式需要） || Redis/RabbitMQ
|}

== 基础部署模式 ==
=== 单机部署 ===
最简单的架构，所有组件运行在单节点：
<mermaid>
graph LR
    A[Web Server] --> D[Metadata DB]
    B[Scheduler] --> D
    C[Executor] --> D
    B --> C
</mermaid>

'''适用场景'''：开发环境或低负载生产环境

=== Celery分布式部署 ===
通过消息队列实现水平扩展：
<mermaid>
graph TD
    A[Web Server] --> D[Metadata DB]
    B[Scheduler] --> D
    B --> E[Redis/RabbitMQ]
    E --> F[Celery Worker 1]
    E --> G[Celery Worker 2]
    F --> D
    G --> D
</mermaid>

'''关键配置示例'''（airflow.cfg）：
<syntaxhighlight lang="ini">
[core]
executor = CeleryExecutor
sql_alchemy_conn = postgresql+psycopg2://user:password@db-host:5432/airflow

[celery]
broker_url = redis://redis-host:6379/0
result_backend = db+postgresql://user:password@db-host:5432/airflow
</syntaxhighlight>

== Kubernetes部署 ==
使用Kubernetes Executor的弹性架构：
<mermaid>
graph TD
    A[Web Server Pod] --> D[Metadata DB]
    B[Scheduler Pod] --> D
    B --> E[K8s API Server]
    E --> F[Worker Pod 1]
    E --> G[Worker Pod 2]
    F --> D
    G --> D
</mermaid>

'''优势'''：
* 动态资源分配
* 容器隔离性
* 自动扩缩容

== 高可用配置 ==
生产环境建议配置：
* '''Scheduler HA'''：运行多个scheduler实例（Airflow 2.0+支持）
* '''数据库HA'''：主从复制或云托管数据库
* '''消息队列集群'''：RabbitMQ镜像队列或Redis Sentinel

'''健康检查配置示例'''：
<syntaxhighlight lang="python">
from airflow.www.app import create_app
from flask.healthz import healthz

app = create_app()
app.register_blueprint(healthz, url_prefix="/healthz")
</syntaxhighlight>

== 性能优化 ==
数学建模建议资源分配：
<math>
\text{Worker数量} = \frac{\text{平均任务耗时} \times \text{任务吞吐量}}{\text{并行系数}}
</math>

'''实际案例'''：
某电商公司使用Celery部署处理每日5000+任务：
* 3 scheduler节点（8 vCPU each）
* 15 Celery workers（4GB内存 each）
* PostgreSQL RDS（16 vCPU, 64GB RAM）
* Redis集群（3节点）

== 常见问题 ==
* '''数据库瓶颈'''：监控<code>airflow scheduler --stats</code>输出
* '''队列积压'''：调整<code>parallelism</code>和<code>dag_concurrency</code>
* '''资源竞争'''：使用KubernetesExecutor或Celery队列隔离

== 扩展阅读 ==
* Airflow官方部署指南
* 云服务商托管方案比较（AWS MWAA vs Google Composer）
* 网络拓扑安全建议

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow部署与扩展]]