编辑“︁Airflow Helm Charts”︁（章节）

= Airflow Helm Charts =

'''Airflow Helm Charts''' 是用于在 Kubernetes 集群上部署和管理 Apache Airflow 的工具，它利用 Helm（Kubernetes 的包管理器）来简化安装、配置和扩展过程。Helm Charts 提供了一种可重复、可定制的方式来部署 Airflow，适用于生产环境和开发环境。

== 介绍 ==
Helm 是 Kubernetes 的包管理工具，而 Helm Chart 是一个预定义的 Kubernetes 资源集合，用于部署应用程序。Airflow Helm Chart 由 Apache Airflow 社区维护，支持快速部署 Airflow 的核心组件（如 Web 服务器、调度器、工作器和数据库），并允许用户通过 YAML 文件自定义配置。

使用 Helm Charts 部署 Airflow 的主要优势包括：
* '''简化部署'''：通过 Helm 命令一键安装，减少手动配置的复杂性。
* '''可扩展性'''：轻松扩展工作器、调度器等组件以适应负载变化。
* '''可定制性'''：通过 `values.yaml` 文件调整参数，如资源限制、环境变量和插件。
* '''版本管理'''：Helm 支持版本回滚，便于故障恢复。

== 安装 Helm 和 Airflow Chart ==
在开始之前，确保已安装以下工具：
* Kubernetes 集群（如 Minikube、EKS、GKE 或 AKS）
* Helm CLI（版本 3+）

=== 添加 Airflow Helm 仓库 ===
首先，添加 Apache Airflow 的官方 Helm 仓库：
<syntaxhighlight lang="bash">
helm repo add apache-airflow https://airflow.apache.org
helm repo update
</syntaxhighlight>

=== 安装 Airflow ===
使用以下命令安装 Airflow（以 `my-airflow` 为发布名称）：
<syntaxhighlight lang="bash">
helm install my-airflow apache-airflow/airflow --namespace airflow --create-namespace
</syntaxhighlight>

安装完成后，检查 Pod 状态：
<syntaxhighlight lang="bash">
kubectl get pods -n airflow
</syntaxhighlight>

== 配置 Airflow Helm Chart ==
Helm Chart 的配置通过 `values.yaml` 文件实现。以下是一个典型配置示例：
<syntaxhighlight lang="yaml">
# values.yaml
airflow:
  image:
    repository: apache/airflow
    tag: 2.6.3
  executor: CeleryExecutor
  config:
    AIRFLOW__CORE__LOAD_EXAMPLES: "false"

webserver:
  replicas: 1
  resources:
    limits:
      cpu: 1
      memory: 1Gi

scheduler:
  replicas: 2
  resources:
    limits:
      cpu: 1
      memory: 2Gi

worker:
  replicas: 3
  resources:
    limits:
      cpu: 1
      memory: 2Gi
</syntaxhighlight>

应用配置：
<syntaxhighlight lang="bash">
helm upgrade --install my-airflow apache-airflow/airflow -n airflow -f values.yaml
</syntaxhighlight>

== 实际案例 ==
=== 场景：扩展工作器以处理高负载 ===
假设你的 Airflow 需要处理大量任务，可以通过修改 `values.yaml` 增加工作器数量：
<syntaxhighlight lang="yaml">
worker:
  replicas: 5
  resources:
    limits:
      cpu: 2
      memory: 4Gi
</syntaxhighlight>

然后运行升级命令：
<syntaxhighlight lang="bash">
helm upgrade my-airflow apache-airflow/airflow -n airflow -f values.yaml
</syntaxhighlight>

=== 场景：启用外部数据库 ===
默认情况下，Airflow Helm Chart 使用 PostgreSQL 容器。若要改用外部数据库（如 Amazon RDS），可配置：
<syntaxhighlight lang="yaml">
externalDatabase:
  type: postgres
  host: my-rds-instance.123456789012.us-east-1.rds.amazonaws.com
  port: 5432
  database: airflow_db
  user: airflow_user
  passwordSecret: "airflow-db-password"
  passwordSecretKey: "password"
</syntaxhighlight>

== 高级配置 ==
=== 自定义 Airflow 插件 ===
通过 Helm Chart 安装自定义插件：
<syntaxhighlight lang="yaml">
airflow:
  extraVolumeMounts:
    - name: plugins
      mountPath: /opt/airflow/plugins
  extraVolumes:
    - name: plugins
      configMap:
        name: airflow-plugins
</syntaxhighlight>

=== 监控与日志 ===
集成 Prometheus 和 Grafana：
<syntaxhighlight lang="yaml">
metrics:
  enabled: true
  serviceMonitor:
    enabled: true
    namespace: monitoring
</syntaxhighlight>

== 常见问题 ==
=== 如何访问 Airflow Web UI？ ===
默认情况下，Web UI 通过 ClusterIP 服务暴露。如需外部访问，可配置 Ingress：
<syntaxhighlight lang="yaml">
webserver:
  ingress:
    enabled: true
    hostname: airflow.example.com
</syntaxhighlight>

=== 如何备份 Airflow 元数据库？ ===
建议定期备份元数据库（如 PostgreSQL）。对于 Kubernetes，可使用 CronJob 执行备份：
<syntaxhighlight lang="yaml">
backup:
  enabled: true
  schedule: "0 0 * * *"
  s3:
    bucket: "my-airflow-backups"
</syntaxhighlight>

== 总结 ==
Airflow Helm Charts 提供了一种高效、灵活的方式在 Kubernetes 上部署和管理 Airflow。通过 `values.yaml` 文件，用户可以轻松调整配置以适应不同场景，从开发测试到大规模生产环境。结合 Helm 的版本管理功能，Airflow 的运维变得更加可靠和可维护。

对于进阶用户，建议探索：
* 使用 '''KubernetesExecutor''' 替代 CeleryExecutor 以进一步优化资源利用率。
* 集成外部服务（如 Redis、S3）以增强功能。
* 通过 Helm Hooks 实现部署前后的自定义操作。

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow部署与扩展]]