编辑“︁Airflow安装与配置”︁

= Airflow安装与配置 =

== 介绍 ==  
'''Apache Airflow''' 是一个用于编排、调度和监控工作流的开源平台。它以代码定义任务依赖关系，支持动态生成管道，并提供丰富的扩展接口。本节将详细介绍如何在不同环境中安装和配置Airflow，涵盖基础设置、数据库集成及核心参数调优。

== 系统要求 ==  
* '''Python''': 3.7+（推荐3.8或更高版本）  
* '''操作系统''': Linux/macOS（Windows需WSL或Docker支持）  
* '''数据库''': PostgreSQL（推荐）、MySQL 5.7+、SQLite（仅开发环境）  

== 安装步骤 ==  

=== 1. 使用pip安装 ===  
通过Python包管理器安装核心组件：  
<syntaxhighlight lang="bash">  
# 安装最新稳定版  
pip install "apache-airflow==2.6.3"  

# 可选：包含常用扩展（如Postgres支持）  
pip install "apache-airflow[postgres,celery]==2.6.3"  
</syntaxhighlight>  

'''注意''': 方括号内为额外依赖，根据需求选择：  
* <code>postgres</code>: PostgreSQL数据库支持  
* <code>celery</code>: 分布式任务队列  
* <code>all</code>: 全部官方扩展  

=== 2. 初始化数据库 ===  
Airflow需要元数据库存储工作流状态：  
<syntaxhighlight lang="bash">  
# 设置环境变量（默认SQLite）  
export AIRFLOW_HOME=~/airflow  

# 初始化数据库  
airflow db init  
</syntaxhighlight>  

=== 3. 创建管理员用户 ===  
<syntaxhighlight lang="bash">  
airflow users create \  
    --username admin \  
    --firstname John \  
    --lastname Doe \  
    --role Admin \  
    --email admin@example.com  
</syntaxhighlight>  

== 配置详解 ==  

=== 核心配置文件 ===  
配置文件位于<code>$AIRFLOW_HOME/airflow.cfg</code>，关键参数：  

{| class="wikitable"  
! 参数 !! 默认值 !! 说明  
|-  
| <code>executor</code> | <code>SequentialExecutor</code> | 任务执行器（开发用）  
|-  
| <code>sql_alchemy_conn</code> | <code>sqlite:///$AIRFLOW_HOME/airflow.db</code> | 数据库连接字符串  
|-  
| <code>dags_folder</code> | <code>$AIRFLOW_HOME/dags</code> | DAG定义文件目录  
|}  

=== 生产环境配置示例 ===  
使用PostgreSQL和CeleryExecutor的配置片段：  
<syntaxhighlight lang="ini">  
[core]  
executor = CeleryExecutor  
sql_alchemy_conn = postgresql+psycopg2://user:password@localhost:5432/airflow  

[celery]  
broker_url = redis://localhost:6379/0  
result_backend = db+postgresql://user:password@localhost:5432/airflow  
</syntaxhighlight>  

== 实际案例 ==  

=== 场景：本地开发环境搭建 ===  
1. 安装Python 3.8和虚拟环境：  
<syntaxhighlight lang="bash">  
python -m venv airflow_env  
source airflow_env/bin/activate  
</syntaxhighlight>  

2. 安装Airflow并启动Web界面：  
<syntaxhighlight lang="bash">  
pip install "apache-airflow[postgres]==2.6.3"  
airflow db init  
airflow webserver --port 8080  
</syntaxhighlight>  

3. 在浏览器访问<code>http://localhost:8080</code>  

=== 架构图 ===  
<mermaid>  
graph TD  
    A[Web Server] -->|元数据| B[(PostgreSQL)]  
    A -->|任务状态| C[Redis]  
    D[Scheduler] -->|任务队列| C  
    E[Worker] -->|执行任务| C  
</mermaid>  

== 常见问题 ==  

* '''错误：端口冲突'''  
  修改<code>airflow.cfg</code>中的<code>web_server_port</code>或停止占用端口的进程  

* '''警告：SQLite不支持并行任务'''  
  生产环境必须更换为PostgreSQL/MySQL  

* '''性能优化'''  
  调整<code>parallelism</code>和<code>max_active_runs_per_dag</code>参数  

== 进阶配置 ==  

=== 使用Docker部署 ===  
官方提供<code>apache/airflow</code>镜像：  
<syntaxhighlight lang="yaml">  
# docker-compose.yml示例  
version: '3'  
services:  
  postgres:  
    image: postgres:13  
    environment:  
      POSTGRES_USER: airflow  
      POSTGRES_PASSWORD: airflow  

  webserver:  
    image: apache/airflow:2.6.3  
    depends_on: [postgres]  
    environment:  
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor  
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow  
</syntaxhighlight>  

=== 数学公式示例 ===  
任务调度间隔计算（每小时运行）：  
<math>  
interval = 1 \times 3600 \text{ seconds}  
</math>  

== 总结 ==  
本节完整演示了Airflow从开发到生产环境的安装与配置流程，涵盖单机部署和分布式架构。正确配置是保证稳定运行的基础，建议根据实际负载调整参数并定期备份元数据库。

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow基础]]