编辑“︁Airflow配置管理”︁（章节）

= Airflow配置管理 =

== 介绍 ==  
'''Airflow配置管理'''是Apache Airflow在CI/CD与DevOps实践中的核心环节，它涉及如何高效管理Airflow的配置文件（如`airflow.cfg`）、环境变量、连接信息以及DAG部署流程。通过配置管理，团队可以确保开发、测试和生产环境的一致性，同时实现自动化部署和可追溯的变更控制。  

对于初学者，配置管理能帮助理解Airflow的架构；对于高级用户，它是实现弹性调度、安全性和可扩展性的关键。本章将逐步讲解配置管理的基础概念、工具和最佳实践。

== 配置文件的组成 ==  
Airflow的主配置文件`airflow.cfg`定义了调度器、执行器、数据库连接等核心参数。其结构如下：  

```ini
[core]
# 指定DAG存储路径
dags_folder = /path/to/dags

# 执行器类型（如LocalExecutor、CeleryExecutor）
executor = CeleryExecutor

[scheduler]
# 调度器心跳间隔
scheduler_heartbeat_sec = 5

[webserver]
# Web服务器端口
web_server_port = 8080
```

=== 关键配置项 ===  
* '''dags_folder'''：DAG文件的存储路径。  
* '''executor'''：决定任务如何执行（如单机模式`LocalExecutor`或分布式`CeleryExecutor`）。  
* '''sql_alchemy_conn'''：元数据库连接字符串（如PostgreSQL或MySQL）。  

== 环境变量覆盖 ==  
Airflow允许通过环境变量动态覆盖配置，格式为`AIRFLOW__{SECTION}__{KEY}`。例如：  

```bash
export AIRFLOW__CORE__EXECUTOR=CeleryExecutor
export AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgresql://user:password@localhost/airflow
```

== 配置管理的工具与实践 ==  

=== 1. 版本控制 ===  
将`airflow.cfg`和DAG文件纳入Git仓库，通过分支管理不同环境（如`dev`/`prod`）。  

=== 2. 配置模板化 ===  
使用Jinja2模板动态生成配置，结合变量文件（如`config_dev.yaml`）：  

```yaml
# config_dev.yaml
executor: LocalExecutor
sql_alchemy_conn: sqlite:////tmp/airflow.db
```

```python
# generate_config.py
from jinja2 import Template
import yaml

with open("config_dev.yaml") as f:
    config = yaml.safe_load(f)

template = Template(open("airflow.cfg.j2").read())
with open("airflow.cfg", "w") as f:
    f.write(template.render(config))
```

=== 3. Secrets管理 ===  
敏感信息（如数据库密码）应通过外部系统管理，例如：  
* '''Airflow Connections'''：通过UI或CLI加密存储。  
* '''HashiCorp Vault'''：集成Vault后端读取密钥。  

```python
from airflow.providers.hashicorp.secrets.vault import VaultBackend

VaultBackend().get_vault_secret("database_password")
```

== 实际案例 ==  

=== 场景：多环境部署 ===  
公司需要为开发、测试和生产环境维护不同的配置：  

<mermaid>
graph LR
    A[Git Repo] -->|分支: dev| B[开发环境]
    A -->|分支: test| C[测试环境]
    A -->|分支: main| D[生产环境]
    B & C & D --> E[CI/CD Pipeline]
    E --> F[部署到Kubernetes]
</mermaid>

步骤：  
1. 每个环境对应独立的`airflow.cfg`和变量文件。  
2. CI/CD管道根据分支选择配置模板。  
3. 使用Kubernetes ConfigMap挂载配置文件。  

== 高级主题：动态配置 ==  
通过Python代码动态加载配置，例如根据环境变量切换执行器：  

```python
from airflow.configuration import conf

executor = conf.get("core", "executor")
if executor == "KubernetesExecutor":
    from airflow.executors.kubernetes_executor import KubernetesExecutor
```

== 常见问题 ==  

'''Q: 如何调试配置加载问题？'''  
A: 运行`airflow config list`查看生效配置，或检查日志中的加载顺序。  

'''Q: 配置变更后是否需要重启？'''  
A: 部分配置（如`executor`）需重启，其他（如DAG文件夹）可能仅需触发刷新。  

== 总结 ==  
Airflow配置管理是CI/CD流程的基石，通过版本控制、模板化和密钥管理，团队能实现高效、安全的部署。进阶用户可探索动态配置和与DevOps工具的深度集成。

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow CICD 与 DevOps]]