## 16｜Python 数据管道工程化：Airflow 编排与数据质量守护

16｜Python 数据管道工程化：Airflow 编排与数据质量守护

摘要

数据任务“能跑”不等于“可信”。
很多团队在 ETL 管道里只关注任务成功，却忽略数据质量、血缘追踪和失败恢复，最终出现“任务全绿但报表错误”。
这篇文章基于 Python + Airflow 场景，讲解任务编排、幂等重跑、质量校验和告警治理。

SEO 摘要

聚焦 Python 数据工程实践，讲解 Airflow 任务编排、幂等重跑、数据质量规则、失败恢复与告警体系。适合报表、数仓和运营数据管道建设。

目录

• 数据管道常见事故类型
• DAG 设计与依赖控制
• 数据质量校验策略
• Python 任务示例
• 监控与复盘实践
• FAQ

数据管道常见事故类型

• 上游延迟导致下游读取脏数据。
• 任务重跑导致重复入库。
• 指标口径变更未同步，报表悄悄偏移。

这些问题往往比“任务失败”更危险，因为它们更隐蔽。

DAG 设计与依赖控制

设计原则：

1. 按业务域拆 DAG，避免超级大图。
2. 依赖关系显式声明，禁止“隐式顺序假设”。
3. 重跑要幂等，任务结果可覆盖或可去重。

数据质量校验策略

至少做三类校验：

• 完整性：行数、主键唯一性、空值比例。
• 一致性：分区总和是否匹配主表。
• 时效性：数据延迟是否超阈值。

校验失败不应静默，要阻断关键下游并发告警。

Python 任务示例（简化）

fromdatetimeimportdatetimeimportpandasaspddefetl_orders(src_path:str,dst_path:str)->None:df=pd.read_csv(src_path)# 数据清洗df=df.dropna(subset=["order_id","amount"])# 去重确保幂等df=df.drop_duplicates(subset=["order_id"],keep="last")# 质量检查if(df["amount"]<0).any():raiseValueError("amount has negative value")df.to_parquet(dst_path,index=False)if__name__=="__main__":etl_orders("orders_raw.csv",f"orders_clean_{datetime.now():%Y%m%d