Airflow的调度和执行流程的两个核心组件:

  • Scheduler:轮询所有DAG,触发条件后,丢给Executor执行
  • Executor
    • SequenceExecutor:本地串行执行一个DAG的所有Task
    • LocalExecutor:本地并行执行一个DAG的所有Task
    • CeleryExecutor:使用Celery的分布式队列框架分发任务
  • Pool:任何一个Task都指定Pool参数

results matching ""

    No results matching ""