编辑“︁Airflow与GitHub Actions集成”︁

= Airflow与GitHub Actions集成 =

== 介绍 ==  
'''Apache Airflow''' 是一个开源的工作流自动化工具，用于编排复杂的数据管道。'''GitHub Actions''' 是 GitHub 提供的 CI/CD（持续集成/持续交付）平台，允许开发者自动化构建、测试和部署流程。将 Airflow 与 GitHub Actions 集成，可以实现以下目标：  
* 自动化测试和验证 DAG（有向无环图）文件  
* 在代码推送时自动部署 Airflow 项目  
* 确保代码质量与一致性  
* 实现 DevOps 实践，减少手动操作错误  

本指南将详细介绍如何配置 GitHub Actions 以支持 Airflow 项目的 CI/CD 流程。

== 基础配置 ==  
=== 1. 创建 GitHub Actions 工作流文件 ===  
在 Airflow 项目的 `.github/workflows/` 目录下创建一个 YAML 文件（如 `airflow-ci.yml`），定义 CI/CD 流程。  

<syntaxhighlight lang="yaml">
name: Airflow CI/CD Pipeline

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  test-dags:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v3

      - name: Set up Python
        uses: actions/setup-python@v4
        with:
          python-version: '3.8'

      - name: Install dependencies
        run: |
          pip install apache-airflow
          pip install -r requirements.txt

      - name: Validate DAGs
        run: airflow dags list
</syntaxhighlight>

=== 2. 关键步骤解析 ===  
* '''触发条件'''：代码推送到 `main` 分支或发起 Pull Request 时触发。  
* '''运行环境'''：使用 Ubuntu 最新版作为基础环境。  
* '''依赖安装'''：安装 Airflow 和项目所需的依赖项（如 `requirements.txt`）。  
* '''DAG 验证'''：通过 `airflow dags list` 检查 DAG 文件是否可被正确加载。  

== 高级集成：自动化部署 ==  
若需将 DAG 部署到远程 Airflow 服务器（如 Kubernetes 或 AWS MWAA），可扩展工作流：  

<syntaxhighlight lang="yaml">
deploy-dags:
  needs: test-dags
  runs-on: ubuntu-latest
  steps:
    - name: Checkout code
      uses: actions/checkout@v3

    - name: Deploy to Airflow Server
      env:
        AIRFLOW_HOST: ${{ secrets.AIRFLOW_HOST }}
        SSH_PRIVATE_KEY: ${{ secrets.SSH_PRIVATE_KEY }}
      run: |
        echo "$SSH_PRIVATE_KEY" > key.pem
        chmod 600 key.pem
        scp -i key.pem -r dags/ user@$AIRFLOW_HOST:/opt/airflow/dags/
</syntaxhighlight>

'''注意'''：  
* 使用 GitHub Secrets 存储敏感信息（如服务器地址和 SSH 密钥）。  
* 通过 `scp` 将 DAG 文件复制到远程服务器的 Airflow 目录。  

== 实际案例 ==  
=== 场景：电商数据管道 ===  
一家电商公司使用 Airflow 每天处理订单数据，并通过 GitHub Actions 实现以下自动化：  
1. 开发者在分支修改 DAG 后发起 Pull Request。  
2. GitHub Actions 自动运行测试，验证 DAG 语法。  
3. 合并到 `main` 分支后，自动部署到生产环境。  

<mermaid>
graph LR
  A[开发者提交代码] --> B{GitHub Actions 测试}
  B -->|通过| C[部署到 Airflow 服务器]
  B -->|失败| D[通知团队修复]
</mermaid>

== 常见问题 ==  
=== 1. 如何调试失败的 CI 运行？ ===  
* 检查 `airflow dags list` 的输出日志。  
* 确保 Python 版本与 Airflow 兼容。  

=== 2. 如何限制部署频率？ ===  
通过 `on.schedule` 控制触发时间：  
<syntaxhighlight lang="yaml">
on:
  schedule:
    - cron: '0 2 * * *'  # 每天凌晨 2 点运行
</syntaxhighlight>

== 总结 ==  
集成 Airflow 与 GitHub Actions 可显著提升数据管道的可靠性和开发效率。初学者应从基础验证开始，逐步扩展至自动化部署。高级用户可通过自定义步骤实现复杂场景（如多环境部署）。  

== 扩展阅读 ==  
* [[Apache Airflow 官方文档]]  
* [[GitHub Actions 官方指南]]

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow CICD 与 DevOps]]