Airflow是2014年Airbnb公司的Maxime Beauchemin开发的,托管到Airbnb的Github。
安装
airflow需要主目录,默认是~/airflow,但是也可以通过环境变量指定
export AIRFLOW_HOME=~/airflow
通过pip安装airflow
pip install apache-airflow
初始化数据库
airflow initdb
启动webserver
airflow webserver -p 8080
启动scheduler
airflow scheduler
配置
当完成安装工作之后,会在airflow的主目录发现airflow.cfg配置文件以及airflow-webserver.pid文件。
airflow默认使用sqlite数据库,它必须与SequentialExecutor联合使用。
调度
运行任务
airflow run example_bash_operator runme_0 2015-01-01
backfill任务
airflow backfill example_bash_operator -s 2015-01-01 -e 2015-01-02