Operators
DAG描述如何运行流程,而Operators则决定真正要做的工作。
通常任务是各自运行的,而如果两个Operator需要共享信息,你可以考虑将它们合并为一个Operator。
如果不能合并,则可以考虑XCom。
Airflow提供的Operator包括:
BashOperator:执行bash命令
PythonOperator:调用Python函数
EmailOperator:发送email
HTTPOperator:发送HTTP请求
MySQLOperator,SqliteOperator,PostgresOperator,MsSqlOperator,OracleOperator,JdbcOperator:执行SQL命令
Sensor:等候某个时间,文件,数据集,S3 key等
airflow/contrib/
目录包含众多社区开发的operators