编辑“︁Airflow调度器优化”︁（章节）

== 优化策略 ==  

=== 1. 调整调度器参数 ===  
Airflow提供多个配置参数以优化调度性能：  

* '''`scheduler__min_file_process_interval`'''：控制DAG文件解析的最小间隔（默认30秒）。增大此值可减少频繁解析的开销。  
* '''`scheduler__max_threads`'''：调度器使用的最大线程数（默认32）。增加线程数可并行处理更多任务。  
* '''`scheduler__parsing_processes`'''：DAG解析进程数（默认`max(1, cpu_count - 2)`）。  

示例配置（`airflow.cfg`）：  
<syntaxhighlight lang="ini">  
[scheduler]  
min_file_process_interval = 60  
max_threads = 64  
parsing_processes = 8  
</syntaxhighlight>  

=== 2. 减少DAG复杂度 ===  
* **避免深层依赖**：DAG中的长依赖链会增加调度器计算负担。  
* **使用SubDAGs或TaskGroups**：将复杂逻辑拆分为模块化组件。  

=== 3. 启用DAG序列化 ===  
从Airflow 2.0开始，支持将DAG序列化到数据库，减少重复解析：  
<syntaxhighlight lang="python">  
# airflow.cfg  
[core]  
store_serialized_dags = True  
</syntaxhighlight>  

=== 4. 资源隔离 ===  
* **专用调度器节点**：在高负载环境中，将调度器与执行器分离。  
* **限制并发**：通过`dag_concurrency`和`max_active_runs`控制任务数量。