编辑“︁Airflow Secret Backend”︁（章节）

= Airflow Secret Backend =

== 介绍 ==  
'''Airflow Secret Backend''' 是 Apache Airflow 中用于安全存储和管理敏感信息（如数据库密码、API密钥等）的核心组件。它替代了传统的环境变量或硬编码方式，通过集中化的后端服务（如 AWS Secrets Manager、Hashicorp Vault 或 Airflow 自带的 Metastore）动态获取密钥，从而提升安全性和可维护性。

=== 核心功能 ===  
* 动态加载敏感数据，避免明文存储  
* 支持多种后端实现（如环境变量、元数据库、第三方密钥管理系统）  
* 与 Airflow 的 [[Airflow变量与连接|Variables]] 和 [[Airflow变量与连接|Connections]] 无缝集成  

== 工作原理 ==  
Secret Backend 通过以下流程工作：  
1. 用户配置密钥后端（如 `airflow.cfg` 或环境变量）。  
2. Airflow 在任务运行时从指定后端请求密钥。  
3. 后端返回解密后的值供任务使用。  

<mermaid>  
flowchart LR  
    A[Task] -->|请求密钥| B(Secret Backend)  
    B -->|返回密钥| A  
    B --> C[(AWS Secrets Manager)]  
    B --> D[(Hashicorp Vault)]  
    B --> E[(Airflow Metastore)]  
</mermaid>  

== 配置示例 ==  

=== 使用环境变量后端 ===  
在 `airflow.cfg` 中启用环境变量后端：  
<syntaxhighlight lang="ini">  
[secrets]  
backend = airflow.providers.amazon.aws.secrets.systems_manager.SystemsManagerParameterStoreBackend  
backend_kwargs = {"connections_prefix": "airflow/connections", "variables_prefix": "airflow/variables"}  
</syntaxhighlight>  

=== 代码调用示例 ===  
通过 `Variable` 或 `Connection` 获取密钥：  
<syntaxhighlight lang="python">  
from airflow.models import Variable  
db_password = Variable.get("my_db_password")  
print(f"Database password: {db_password}")  
</syntaxhighlight>  

'''输出'''：  
<syntaxhighlight lang="text">  
Database password: secure123  
</syntaxhighlight>  

== 实际案例 ==  

=== 场景：安全访问数据库 ===  
1. 将数据库密码存储在 AWS Secrets Manager 中，路径为 `airflow/connections/postgres_conn`。  
2. 在 DAG 中通过以下代码获取连接：  
<syntaxhighlight lang="python">  
from airflow.hooks.postgres_hook import PostgresHook  

def query_data():  
    hook = PostgresHook(postgres_conn_id="postgres_conn")  
    df = hook.get_pandas_df("SELECT * FROM sales")  
    return df  
</syntaxhighlight>  

== 高级配置 ==  

=== 自定义 Secret Backend ===  
继承 `BaseSecretsBackend` 实现自定义逻辑：  
<syntaxhighlight lang="python">  
from airflow.secrets import BaseSecretsBackend  

class CustomBackend(BaseSecretsBackend):  
    def get_connection(self, conn_id):  
        return f"Connecting to {conn_id} via custom backend"  

# 在 airflow.cfg 中配置：  
# backend = path.to.CustomBackend  
</syntaxhighlight>  

=== 密钥优先级规则 ===  
Airflow 按以下顺序查找密钥：  
1. 直接指定的 Secret Backend  
2. 环境变量  
3. 元数据库  

数学表示为：  
<math>  
\text{Secret} = \begin{cases}  
\text{Backend} & \text{if configured} \\  
\text{Env Var} & \text{else if exists} \\  
\text{Metastore} & \text{otherwise}  
\end{cases}  
</math>  

== 最佳实践 ==  
* '''最小权限原则'''：限制后端服务的访问权限。  
* '''轮换策略'''：定期更新密钥并验证其有效性。  
* '''审计日志'''：记录所有密钥访问事件。  

== 常见问题 ==  

'''Q: 如何调试 Secret Backend 失败？'''  
A: 启用调试日志并检查：  
<syntaxhighlight lang="ini">  
[logging]  
logging_level = DEBUG  
</syntaxhighlight>  

'''Q: 多环境如何隔离密钥？'''  
A: 使用不同前缀（如 `dev/airflow/` 和 `prod/airflow/`）。

[[Category:大数据框架]]
[[Category:Airflow]]
[[Category:Airflow变量与连接]]