Airflow日志系统

Airflow日志系统

介绍

Apache Airflow的日志系统是任务执行和故障排查的核心组件。它记录DAG运行、任务执行、调度事件以及系统操作的详细信息，帮助用户监控工作流状态并诊断问题。日志分为任务日志（Task Logs）和调度日志（Scheduler Logs），分别由执行器和调度器生成。

日志配置

Airflow的日志行为通过`airflow.cfg`文件配置，主要参数包括：

• `logging_level`：设置日志级别（如`INFO`、`DEBUG`）。
• `base_log_folder`：定义日志存储路径。
• `remote_logging`：支持将日志上传到S3、GCS等远程存储。

示例配置片段：

  
[logging]  
logging_level = INFO  
base_log_folder = /opt/airflow/logs  
remote_logging = True  
remote_base_log_folder = s3://my-airflow-logs/

日志结构

日志按DAG和任务层级组织，路径格式为： `<base_log_folder>/<dag_id>/<task_id>/<execution_date>/<try_number>.log`

Mermaid图表示例

flowchart LR A[base_log_folder] --> B[dag_id] B --> C[task_id] C --> D[execution_date] D --> E[try_number.log]

访问日志

命令行查看

通过`airflow tasks logs`命令直接获取日志：

  
airflow tasks logs my_dag my_task 2023-01-01

UI界面查看

Airflow Web UI的"Task Instance"页面提供日志预览功能，支持下载和实时刷新。

日志级别详解

Airflow使用Python标准日志级别：

• `DEBUG`：详细调试信息。
• `INFO`：常规运行状态。
• `WARNING`：潜在问题。
• `ERROR`：任务失败。
• `CRITICAL`：系统级错误。

数学公式表示过滤规则： 解析失败 (语法错误): {\displaystyle \text{Displayed Logs} = \{ \log \in \text{All Logs} \mid \text{level}(\log) \geq \text{logging\_level} \} }

自定义日志

用户可在DAG文件中通过Python的`logging`模块添加自定义日志：

  
from airflow import DAG  
import logging  

def my_task_function(**kwargs):  
    logger = logging.getLogger(__name__)  
    logger.info("Starting task processing")  
    try:  
        # 业务逻辑  
        logger.debug("Data processed: %s", data)  
    except Exception as e:  
        logger.error("Task failed: %s", str(e))  

with DAG('custom_log_dag', schedule_interval='@daily') as dag:  
    PythonOperator(  
        task_id='log_demo',  
        python_callable=my_task_function  
    )

实际案例

场景：调试失败任务

1. 在UI中发现任务失败，点击"Log"按钮查看错误。 2. 日志显示`FileNotFoundError`，提示输入文件缺失。 3. 根据日志中的路径信息检查文件系统权限。

场景：性能优化

1. 通过`DEBUG`日志发现某任务耗时过长。 2. 分析日志中的时间戳，定位到数据库查询步骤。 3. 优化SQL查询后，日志显示执行时间减少50%。

高级功能

• **日志轮转**：通过`logrotate`工具管理日志文件大小。
• **集中式日志**：集成ELK（Elasticsearch, Logstash, Kibana）堆栈实现日志分析。
• **自定义处理器**：继承`FileTaskHandler`实现特定存储后端支持。

故障排查技巧

• 若日志不显示，检查`airflow.cfg`中的`logging_level`和路径权限。
• 使用`grep`过滤关键错误：

  
grep -r "ERROR" /opt/airflow/logs/my_dag/

总结

Airflow日志系统是运维复杂工作流的关键工具。通过合理配置和有效分析，用户可以快速定位问题、优化性能，并确保数据管道的可靠性。