编辑“︁Airflow工作节点优化”︁（章节）

== 优化策略 ==

=== 1. 并行度配置 ===
Airflow的并行度主要由以下参数控制：
* `parallelism`：控制整个Airflow实例中可同时运行的任务总数
* `dag_concurrency`：控制单个DAG中可同时运行的任务数
* `worker_concurrency`：控制单个工作节点可同时执行的任务数

建议配置示例（在`airflow.cfg`中）：
<syntaxhighlight lang="ini">
[core]
parallelism = 32
dag_concurrency = 16
worker_concurrency = 8
</syntaxhighlight>

'''优化建议'''：
* 根据机器CPU核心数设置`worker_concurrency`（通常为CPU核心数的1-2倍）
* 对于I/O密集型任务，可适当增加并发度
* 对于CPU密集型任务，应降低并发度以避免资源争用

=== 2. 执行器选择 ===
Airflow支持多种执行器，选择适合场景的执行器是关键优化手段：

{| class="wikitable"
|+ 执行器比较
|-
! 执行器类型 !! 适用场景 !! 特点
|-
| SequentialExecutor || 开发/测试 || 单进程顺序执行，无并行能力
|-
| LocalExecutor || 中小规模生产 || 多进程并行，单机部署
|-
| CeleryExecutor || 大规模生产 || 分布式任务队列，支持多节点
|-
| KubernetesExecutor || 云原生环境 || 动态Pod创建，弹性伸缩
|}

配置示例（切换到CeleryExecutor）：
<syntaxhighlight lang="ini">
[core]
executor = CeleryExecutor
</syntaxhighlight>

=== 3. 资源隔离与限制 ===
对于Celery或Kubernetes执行器，可以通过以下方式实现资源隔离：

==== Celery队列配置 ====
<syntaxhighlight lang="python">
default_args = {
    'queue': 'high_memory_queue'  # 指定任务队列
}

# 启动worker时指定队列
airflow worker -q high_memory_queue,default
</syntaxhighlight>

==== Kubernetes资源限制 ====
<syntaxhighlight lang="yaml">
# in pod_template_file.yaml
resources:
  requests:
    memory: "512Mi"
    cpu: "500m"
  limits:
    memory: "1Gi"
    cpu: "1"
</syntaxhighlight>

=== 4. 任务超时与重试策略 ===
合理设置任务超时和重试可以防止资源浪费：

<syntaxhighlight lang="python">
default_args = {
    'retries': 3,
    'retry_delay': timedelta(minutes=5),
    'execution_timeout': timedelta(hours=2)
}
</syntaxhighlight>

=== 5. 日志与监控优化 ===
优化日志配置减少I/O压力：
<syntaxhighlight lang="ini">
[logging]
remote_logging = True
logging_level = INFO  # 生产环境避免DEBUG
</syntaxhighlight>