编辑“︁Airflow Docker部署”︁（章节）

= Airflow Docker部署 =

'''Airflow Docker部署'''是指使用Docker容器技术来运行Apache Airflow工作流管理系统的过程。这种方法简化了环境配置，提高了可移植性，并支持快速扩展。本指南将详细介绍从基础配置到生产级部署的全过程。

== 概述 ==
Docker容器化部署解决了Airflow传统部署中的常见痛点：
* '''环境一致性'''：消除"在我机器上能运行"问题
* '''隔离性'''：各组件（Web服务器、调度器等）可独立运行
* '''可扩展性'''：通过Docker Swarm或Kubernetes轻松扩展

== 基础部署 ==
=== 准备工作 ===
需预先安装：
* Docker Engine 20.10+
* Docker Compose 2.0+

=== 官方Docker镜像 ===
Airflow提供官方镜像：
<syntaxhighlight lang="bash">
# 查看可用标签
docker pull apache/airflow:2.6.2
</syntaxhighlight>

=== 快速启动 ===
使用官方docker-compose.yaml：
<syntaxhighlight lang="yaml">
version: '3'
services:
  postgres:
    image: postgres:13
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow

  webserver:
    image: apache/airflow:2.6.2
    depends_on:
      - postgres
    environment:
      AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    ports:
      - "8080:8080"
    command: webserver
</syntaxhighlight>

启动命令：
<syntaxhighlight lang="bash">
docker-compose up -d
</syntaxhighlight>

== 高级配置 ==
=== 自定义Dockerfile ===
扩展官方镜像示例：
<syntaxhighlight lang="dockerfile">
FROM apache/airflow:2.6.2
USER root
RUN apt-get update && \
    apt-get install -y gcc python3-dev
USER airflow
COPY requirements.txt .
RUN pip install --user -r requirements.txt
</syntaxhighlight>

=== 环境变量配置 ===
关键环境变量：
{| class="wikitable"
|-
! 变量名 !! 作用 !! 示例值
|-
| AIRFLOW__CORE__EXECUTOR || 执行器类型 || LocalExecutor
|-
| AIRFLOW__CORE__LOAD_EXAMPLES || 加载示例 || false
|-
| AIRFLOW__WEBSERVER__SECRET_KEY || 安全密钥 || your-secret-key
|}

== 生产环境部署 ==
=== 架构设计 ===
<mermaid>
graph TD
    A[Load Balancer] --> B[Webserver 1]
    A --> C[Webserver 2]
    D[Redis] --> E[Worker 1]
    D --> F[Worker 2]
    G[Postgres] --> H[Scheduler]
</mermaid>

=== 高可用配置 ===
关键组件：
* '''数据库''': 使用PostgreSQL集群
* '''消息队列''': Redis/RabbitMQ集群
* '''执行器''': CeleryExecutor或KubernetesExecutor

示例Celery配置：
<syntaxhighlight lang="yaml">
services:
  redis:
    image: redis:6
    ports:
      - "6379:6379"

  worker:
    image: custom_airflow_image
    command: celery worker
    environment:
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
</syntaxhighlight>

== 实际案例 ==
=== 电商数据处理流水线 ===
场景：每日处理订单数据
* 容器组成：
  * 1个Webserver容器
  * 1个Scheduler容器
  * 3个Worker容器
  * PostgreSQL容器
  * Redis容器

DAG部署方式：
<syntaxhighlight lang="bash">
# 将DAGs挂载到所有相关容器
volumes:
  - ./dags:/opt/airflow/dags
</syntaxhighlight>

== 常见问题 ==
=== 性能优化 ===
* '''数据库连接池'''：配置SQL_ALCHEMY_POOL_SIZE
* '''并行度控制'''：调整parallelism和dag_concurrency
* '''资源限制'''：
  <syntaxhighlight lang="yaml">
  deploy:
    resources:
      limits:
        cpus: '2'
        memory: 4G
  </syntaxhighlight>

=== 安全配置 ===
1. 使用HTTPS加密Web界面
2. 设置强密码认证
3. 定期轮换加密密钥

== 数学基础 ==
在资源分配中，Worker数量可根据队列理论计算：
<math>
N = \frac{\lambda}{\mu} + z_{1-\alpha} \sqrt{\frac{\lambda}{\mu}}
</math>
其中：
* λ：任务到达率
* μ：单个Worker处理速率
* z：正态分布分位数

== 扩展阅读 ==
* 使用KubernetesOperator实现混合部署
* 基于Prometheus的监控方案
* 自定义XCom后端实现

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow部署与扩展]]