当前位置：首页 > news >正文

北京空气质量多变量时序预测实战：PyTorch+LSTM完整可运行工程包

news 2026/6/5 19:02:14

本文还有配套的精品资源，点击获取

简介：直接上手就能跑的北京空气质量预测项目，用PyTorch搭建多层LSTM模型，输入包括PM2.5、温度、湿度、风速等多维度历史数据，输出未来多个时间步的污染物浓度预测结果。整个流程覆盖数据加载、缺失值填充、标准化处理、滑动窗口序列构造、模型定义与训练、验证集监控、测试集评估全流程。代码结构清晰分层：data_processing模块负责数据清洗和特征工程，util.py封装常用工具函数（如反标准化、绘图、指标计算），model目录下是可配置层数和隐藏单元的LSTM核心模型，resource文件夹内置真实采集的北京多源空气质量CSV数据集。所有脚本支持Python 3.8+和PyTorch 1.10+环境，安装requirements.txt依赖后无需额外配置，解压即训即测。适合课程设计、毕设开题或工业场景下的时序建模快速验证。

1. 项目概述：为什么这个空气质量预测工程值得你花时间细读

我带过三届本科生的《机器学习实践》课程设计，每年都有学生卡在“模型跑得通但结果不准”“数据预处理一塌糊涂”“训练过程黑箱难调参”这三个坎上。而这个北京空气质量多变量时序预测项目，是我见过少有的、真正把“教学闭环”和“工业可用性”捏在一起的完整工程包——它不是教科书里那种只预测单个PM2.5值、用合成数据凑数的玩具模型，而是基于北京市生态环境监测中心公开历史数据（2013–2017年，每小时一条，含PM2.5、PM10、SO₂、NO₂、CO、O₃六项污染物，叠加温度、湿度、气压、风速、风向、降水等12维气象特征）构建的真实场景预测系统。核心关键词PyTorch、LSTM、空气质量预测、多变量时序、北京PM2.5，每一个都不是摆设：PyTorch不是为了炫技，而是因为它的动态图机制让滑动窗口批处理、多步预测解耦、梯度裁剪调试变得极其直观；LSTM不是硬套架构，而是经过消融实验验证——相比GRU和Transformer，在该数据集上对长周期（>48h）污染累积效应建模更稳定；多变量时序不是简单拼接列，而是通过协方差分析确认了湿度与PM2.5二次反应、风速与SO₂扩散速率存在显著滞后相关性（lag=3~6h），因此特征工程中专门做了滞后位移对齐；北京PM2.5作为主预测目标，但模型输出是未来24小时逐小时的PM2.5序列，同时保留其他污染物的中间隐状态用于误差传导校正——这正是它最终拿下97分的关键：不是“预测准”，而是“知道为什么准、哪里可能不准”。

这个项目最务实的价值在于：它不教你“LSTM公式怎么推”，而是手把手带你走完一个工业级时序建模项目的全部毛细血管。比如data_processing模块里那个看似简单的缺失值填充函数，背后是三次迭代——第一次用线性插值，发现冬季供暖期PM2.5突变导致插值偏差超35%；第二次改用前后24小时均值，又因沙尘暴日造成虚假平滑；最终采用“分时段+分污染类型”的混合策略：对PM2.5/PM10用相邻工作日同小时均值（消除周末效应），对气象变量用三次样条插值（保留日变化趋势），对降水这类稀疏变量则标记为特殊类别。这种细节，只有真正在环保局合作项目里被数据打过脸的人才会写进代码注释。如果你正面临课程设计 deadline、毕设开题焦虑，或者想快速验证某个新想法（比如把LSTM换成Informer），这个包就是你的“可拆卸发动机”——model目录下所有超参都通过config.py集中管理，resource里的CSV按日期切分好训练/验证/测试集，连requirements.txt里torch版本都锁死到1.12.1+cu113（避开了1.13版本中LSTM在Windows上batch_first=True的已知bug）。它不承诺“一键出论文”，但保证你今天下午装完环境，明天上午就能看到loss曲线下降、测试集MAE从128μg/m³降到63μg/m³——这种确定性，对赶进度的学生和需要快速验证方案的工程师，比任何理论都珍贵。

2. 整体架构设计与技术选型逻辑拆解

2.1 为什么是LSTM而不是Transformer或XGBoost？

很多人看到“多变量时序”第一反应是上Transformer，但在这个具体任务里，LSTM是经过成本-收益权衡后的最优解。我们做过三组对比实验：用相同数据、相同滑动窗口（过去72小时→预测未来24小时）、相同硬件（RTX 3090），训练耗时与精度如下表：

模型	训练耗时（epoch）	验证集MAE（μg/m³）	显存峰值（GB）	过拟合风险
XGBoost（滑窗特征工程）	2.1min	89.4	1.2	中（需手动构造滞后特征）
Transformer（PatchTST配置）	47min	61.2	14.8	高（小数据集易学噪声）
LSTM（本项目配置）	18min	62.7	5.3	低（门控机制天然抑制噪声）

关键洞察在于：北京空气质量受本地排放（燃煤、机动车）和区域传输（华北平原逆温层）双重影响，其变化具有强惯性——PM2.5浓度连续3小时上升后，第4小时大概率继续上升，这种“状态延续性”正是LSTM门控结构最擅长捕捉的。而Transformer依赖全局注意力，在仅5000+有效样本（剔除缺失严重时段）的情况下，容易把随机波动当成模式学习。更实际的考量是部署：环保部门边缘计算设备（如华为Atlas 200）内存有限，LSTM推理延迟稳定在8ms以内，而同等精度的Transformer需32ms且波动大。所以项目里model/lstm_model.py的num_layers=3不是随便写的——第1层捕获小时级波动（如早高峰），第2层整合日周期（早晚温差驱动边界层高度变化），第3层建模周周期（工作日vs周末排放差异），每一层输出都通过nn.Dropout(0.2)防止层间过拟合，这是在真实业务压力下反复调出来的结构。

2.2 多变量输入的设计哲学：不是“堆特征”，而是“建关系”

很多初学者以为“多变量”就是把温度、湿度、风速全concat起来喂给模型。但本项目在data_processing/feature_engineering.py里做了深度解耦：首先用皮尔逊相关系数矩阵筛掉冗余变量（发现气压与温度相关性达-0.92，直接弃用气压）；然后对剩余变量做滞后分析——用statsmodels.tsa.stattools.ccf计算各变量与PM2.5的交叉相关函数，发现风速在lag=4h时相关性最强（-0.67），湿度在lag=2h时相关性最强（-0.53），这意味着模型输入序列不能是“当前时刻所有变量”，而必须是“t-72h到t时刻的PM2.5 + t-76h到t-4h的风速 + t-74h到t-2h的湿度”。这种错位拼接在PyTorch里通过自定义Dataset的__getitem__实现，比强行pad对齐更符合物理规律。更关键的是，模型内部用了一个小技巧：在LSTM输出层后加了一个nn.Linear(hidden_size, hidden_size)作为“变量交互门”，把不同来源的隐状态做非线性融合，实验显示这比简单拼接提升3.2% MAE。这解释了为什么resource目录下的CSV文件名是beijing_air_20130301-20170228_lagged.csv——那个“lagged”不是随意加的，是整个工程的物理基础。

2.3 工程化分层：为什么模块要拆得这么细？

看目录树里有util.py、data_processing、model三个独立模块，这不是为了“显得规范”，而是解决实际协作痛点。去年有个学生团队用这个包做毕设，A同学负责数据清洗，B同学调模型结构，C同学写评估报告——如果所有代码揉在一个train.py里，A改个标准化方式（比如从MinMaxScaler换成RobustScaler），B的loss就突然爆炸，还得花半天找原因。而现在的分层让责任边界清晰：data_processing只输出torch.Tensor格式的标准化数据，model只接收张量、输出张量，util提供纯函数式工具（如inverse_transform()不依赖任何全局状态）。这种设计甚至考虑到了未来扩展：如果某天要接入卫星遥感数据（如MODIS AOD），只需在data_processing里新增load_satellite_data()函数，修改__init__.py的导入，其余模块完全不用动。requirements.txt里刻意没写pandas>=1.0而是pandas==1.3.5，因为新版pandas对datetime索引的.shift()行为有变更，会导致滞后特征错位——这种细节，只有被线上bug毒打过的人才懂。

3. 核心模块详解与实操要点

3.1 数据处理全流程：从原始CSV到可训练张量

data_processing/data_loader.py是整个项目的地基，它的工作流程远比表面看起来复杂。原始数据来自北京市生态环境监测中心API导出的CSV，但直接加载会遇到三大坑：第一，时间戳格式混乱（有”2014/1/1 0:00”也有”2014-01-01 00:00:00”）；第二，部分站点数据缺失严重（如昌平站2015年缺测率达42%）；第三，污染物单位不统一（PM2.5是μg/m³，O₃是ppb）。项目用pandas.read_csv配合date_parser参数统一解析时间，再通过pd.concat([df1, df2], join='inner')取所有站点的交集时间点，确保多源数据对齐。最关键的缺失值处理在fill_missing_values()函数里：对PM2.5这类核心变量，采用“时空联合插值”——先按空间维度（邻近站点距离加权），再按时间维度（前后3小时均值），最后用sklearn.impute.IterativeImputer做多变量联合补全。这里有个隐藏技巧：在调用IterativeImputer前，先把风速、湿度等气象变量归一化到[0,1]区间，避免量纲差异导致插值偏差，代码注释里明确写了# Note: scaling before imputation prevents feature dominance in MICE。

标准化环节更见功力。StandardScaler通常用训练集均值方差，但本项目在data_processing/scaler.py里实现了TimeSeriesScaler类，它针对时序特性做了两件事：一是对每个特征单独计算均值方差（而非全局），因为PM2.5标准差约120，而温度标准差仅8；二是对测试集标准化时，强制使用训练集统计量（scaler.fit(train_data)后只调用scaler.transform(test_data)），并在util.py的inverse_transform()里预留了original_shape参数——因为预测输出是24维向量，反标准化时需还原成(batch, 24)形状，否则绘图会错乱。滑动窗口构造在create_sequences()函数中完成，参数seq_len=72（72小时）和pred_len=24（24小时）不是拍脑袋定的：通过ACF/PACF图分析PM2.5序列，发现自相关性在72小时后衰减到0.1以下，而预测24小时覆盖完整日周期，足够支撑预警决策。这里有个易错点：窗口移动步长设为1（每小时滑动一次），但实际训练时用DataLoader的batch_size=32，意味着每个batch包含32个连续72小时片段——这会产生时间泄露！解决方案在data_processing/dataset.py的__init__方法里：对训练集索引做np.random.shuffle()，彻底打乱时间顺序，牺牲一点时序局部性换取泛化性，毕竟真实业务中模型也要应对突发污染事件。

3.2 LSTM模型实现：超越教科书的细节打磨

model/lstm_model.py里的AirPollutionLSTM类，表面看是标准三层LSTM+Linear，但藏着五个关键优化：

双向LSTM的取舍：bidirectional=True只在第1层启用，后两层关闭。因为双向结构虽能增强上下文感知，但会使第2层输入变成2*hidden_size，大幅增加参数量（实测增加47%），而北京数据中“未来信息”对“过去污染”的修正作用有限，反而引入噪声。
隐藏层维度设计：hidden_size=128是黄金分割点。试过64（欠拟合，验证loss震荡）和256（过拟合，训练loss降得快但验证loss停滞），128在显存占用（<6GB）和性能间取得平衡。有趣的是，第1层hidden_size=128，第2层压缩到96，第3层再压缩到64——这种“金字塔式”设计模仿了人类认知：底层抓细节（小时波动），高层抓宏观（日/周模式）。
Dropout的精准投放：dropout=0.2只加在LSTM层之间（nn.Dropout放在lstm1和lstm2之间），不在输入层或输出层。因为输入层Dropout会破坏气象变量间的物理关系，输出层Dropout则干扰最终预测稳定性。
初始化策略：nn.init.orthogonal_()初始化LSTM权重，比默认的xavier_uniform_收敛更快。实测在相同epoch下，正交初始化使验证MAE提前3个epoch进入平台期。
输出层的物理约束：最后一层nn.Linear(64, 24)后没有激活函数，但util.py的post_process_prediction()函数会对负值PM2.5强制设为0（pred = torch.clamp(pred, min=0)），因为浓度不可能为负——这个后处理步骤比在模型里加ReLU更合理，避免梯度消失。

模型训练循环在train.py里，但真正的精髓在train_one_epoch()函数：它用torch.cuda.amp.autocast()开启混合精度，使单卡训练速度提升1.8倍；用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)防梯度爆炸（北京数据中沙尘暴日PM2.5突增常导致梯度飙升）；验证阶段用torch.no_grad()包裹，显存节省35%。这些不是炫技，而是让笔记本（GTX 1660 Ti）也能在2小时内完成完整训练。

3.3 工具函数封装：那些让调试效率翻倍的util.py

util.py是项目里最值得细读的文件，它把枯燥的调试工作变成了可复用的乐高积木。比如plot_predictions()函数，不只是画两条线：它自动标注污染等级（依据《环境空气质量标准》GB3095-2012），当预测值>150μg/m³时标红，75~150标橙，<75标绿；还叠加了真实值置信区间（用验证集残差的标准差计算），让使用者一眼看出“模型在哪些时段更可信”。另一个神器是calculate_metrics()，它返回的不仅是MAE/RMSE，还有direction_accuracy（预测涨跌方向正确率），这对环保预警至关重要——即使绝对值误差大，只要方向判对，就能提前启动应急响应。最绝的是save_checkpoint()函数：它不仅保存model.state_dict()，还把scaler对象、config字典、当前epoch、best_val_loss全打包进.pt文件，恢复训练时调用load_checkpoint()即可无缝续跑，避免因断电/误操作重训三天。

requirements.txt的编写也体现工程思维：torch==1.12.1+cu113指定了CUDA版本，numpy==1.21.6避开了1.22版本中np.array()对pandas Series的兼容问题，matplotlib==3.5.3则是因为新版在Linux服务器无GUI环境下常报TkAgg错误。这些细节，决定了“解压即运行”是承诺还是笑话。

4. 实操过程与端到端训练指南

4.1 环境搭建：避开90%新手踩过的坑

别急着pip install -r requirements.txt。先确认你的Python版本：项目严格要求Python 3.8.10（不是3.8.x任意版），因为3.8.0存在multiprocessing在Windows上的fork问题，会导致DataLoader卡死。验证命令：python --version。若版本不符，推荐用pyenv管理（Mac/Linux）或conda create -n air-pred python=3.8.10（Windows）。PyTorch安装必须匹配CUDA版本：NVIDIA驱动≥465.89才能用CUDA 11.3，检查命令nvidia-smi。若驱动太旧，宁可降级到torch==1.10.2+cu113（已验证兼容）。安装命令务必用官网提供的精确链接：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

跳过这一步直接pip install torch，大概率装成CPU版，训练速度慢10倍。

依赖安装后，首验data_processing/test_data_loader.py：它会加载resource目录下最小的测试数据集（test_sample.csv），执行create_sequences()并打印张量形状。成功输出Input shape: torch.Size([100, 72, 12]) Output shape: torch.Size([100, 24])才算过关。若报KeyError: 'PM2.5'，说明CSV列名大小写不匹配——原始数据里可能是pm2.5，需在data_loader.py的read_csv()后加df.columns = df.columns.str.upper()。

4.2 数据准备：如何用自己的数据替换resource

resource目录里的数据是示例，你要替换成自己的采集数据？记住三个铁律：
1.时间戳必须为datetime64[ns]且无重复：用pandas.to_datetime(df['date'])转换，再df.drop_duplicates(subset=['date'], keep='first')去重；
2.列名必须严格匹配：['PM2.5', 'PM10', 'SO2', 'NO2', 'CO', 'O3', 'TEMP', 'PRES', 'DEWP', 'RAIN', 'WD', 'WSPM']（注意WSPM是风速，不是WS）；
3.缺失值比例<30%：超过则需先用data_processing/fill_missing.py的fill_by_station_correlation()函数，基于空间相关性补全（代码里内置了北京市12个监测站的经纬度坐标）。

替换后运行python data_processing/generate_splits.py，它会按时间切分：2013–2015为训练集，2016为验证集，2017为测试集，并生成train.npy/val.npy/test.npy三个二进制文件（比CSV加载快5倍）。切记不要手动删文件——generate_splits.py会自动处理时间对齐，比如2016年1月1日00:00的数据，必须在训练集里找到2015年12月30日00:00开始的72小时序列，否则DataLoader会报IndexError。

4.3 模型训练：从零开始的完整命令流

一切就绪后，终端进入项目根目录，执行：

# 第一步：预处理数据（生成.npy文件） python data_processing/generate_splits.py # 第二步：训练模型（默认配置） python train.py --config config/default.yaml # 第三步：可视化训练过程 tensorboard --logdir=logs/

config/default.yaml是核心控制台，里面learning_rate: 0.001是经过学习率搜索确定的：太高（0.01）导致loss震荡，太低（0.0001）收敛太慢。训练时你会看到实时输出：

Epoch 1/100 | Train Loss: 128.45 | Val MAE: 112.33 | LR: 0.0010 Epoch 2/100 | Train Loss: 98.21 | Val MAE: 95.67 | LR: 0.0010 ... Epoch 47/100 | Train Loss: 42.18 | Val MAE: 62.71 | LR: 0.0010 ← 最佳点

当验证MAE连续5个epoch不下降，程序自动保存best_model.pt并降低学习率至0.0005（学习率调度器）。若想加速，可在train.py里把num_workers=0改为num_workers=4（Linux/Mac），但Windows上必须保持0，否则DataLoader报错。

4.4 测试与评估：不只是看MAE数字

训练完成后，运行：

python test.py --model_path models/best_model.pt --data_path resource/test.npy

它会生成results/test_metrics.json，但重点看results/predictions.png。这张图里有四条线：蓝色是真实PM2.5，橙色是预测值，绿色是预测置信区间（±1σ），红色虚线是污染预警阈值（150μg/m³）。你会发现模型在沙尘暴期间（如2017年4月15日）预测值普遍偏低——这不是bug，而是物理限制：沙尘暴是突发天气事件，72小时历史数据无法充分表征。此时util.py的analyze_failure_cases()函数就派上用场：它自动识别所有|pred - true| > 100的样本，输出failure_report.csv，包含时间、真实值、预测值、误差、以及关联的气象条件（如当日平均风速<1.5m/s），帮你定位模型短板。

5. 常见问题与排查技巧实录

5.1 典型问题速查表

问题现象	根本原因	解决方案	经验备注
`RuntimeError: Input and hidden tensors are not at the same device`	LSTM模型在GPU，但数据在CPU	在`train.py`的`for batch in dataloader:`循环内，添加`batch = [x.to(device) for x in batch]`	别信“自动迁移”，PyTorch不会自动把list里的tensor送GPU
训练loss为nan	输入数据含inf或nan（常见于湿度=0时log运算）	在`data_processing/scaler.py`的`fit()`前加`df = df.replace([np.inf, -np.inf], np.nan)`	所有数值计算前先做`np.isfinite().all()`检查
预测结果全是0	`post_process_prediction()`里`clamp(min=0)`过度	注释掉`clamp`行，检查原始预测是否为负值；若是，说明模型学到错误模式，需检查标签是否用错（如用了PM10标签训练PM2.5模型）	负值预测往往源于训练集里有大量0值（如夜间低排放），模型学会“保守预测”
TensorBoard无曲线	`train.py`里`SummaryWriter`路径错误	确保`logs/`目录存在，且路径为绝对路径：`writer = SummaryWriter(os.path.join(os.getcwd(), 'logs'))`	相对路径在IDE里常失效，尤其PyCharm的working directory设置诡异
测试集MAE比验证集高20%	数据泄露：验证集切分未严格按时间顺序	检查`generate_splits.py`是否用了`df.sort_values('date')`，且切分时用`iloc`而非`loc`（避免索引错乱）	时间序列严禁随机切分，必须保证训练集时间<验证集<测试集

5.2 我踩过的三个深坑及修复方案

坑一：气象变量单位混淆导致模型学歪
现象：模型对夏季高温时段PM2.5预测严重偏高。排查发现resource里的TEMP列单位是摄氏度，但部分CSV误存为华氏度（如35°C被存成95°F）。修复方案：在data_loader.py的read_csv()后插入单位校验：

if df['TEMP'].max() > 60: # 华氏度最大值约120，摄氏度约50 df['TEMP'] = (df['TEMP'] - 32) * 5/9 # 自动转回摄氏度 print("Warning: TEMP column auto-converted from Fahrenheit to Celsius")

坑二：Windows路径分隔符引发数据加载失败
现象：FileNotFoundError: resource\train.npy（反斜杠被识别为转义符）。根本原因是os.path.join('resource', 'train.npy')在Windows返回resource\train.npy，而PyTorch的torch.load()期望正斜杠。修复：统一用pathlib.Path：

from pathlib import Path data_path = Path('resource') / 'train.npy' # 自动适配系统分隔符

坑三：多步预测的累积误差爆炸
现象：预测24小时时，第12小时后误差陡增。原方案是“自回归预测”（用前1小时预测值作为下一小时输入），但误差会滚雪球。修复方案：改用“多输出头”（Multi-head output），模型最后一层nn.Linear(64, 24)直接输出24维向量，每个维度对应一个时间步，彻底规避误差传播。model/lstm_model.py里forward()函数已实现此模式，只需确保config.yaml中prediction_mode: 'multi_output'（默认即此）。

5.3 性能调优实战技巧

显存不够？把train.py里的batch_size=32降到16，同时把num_workers=4改为0（Windows）或2（Linux），显存占用立降40%。
训练太慢？在data_processing/dataset.py的__getitem__里，把torch.tensor()换成torch.from_numpy()（避免数据拷贝），速度提升22%。
过拟合？在config.yaml里增加weight_decay: 1e-5，并在train.py的optimizer中启用L2正则。
预测不准？不要盲目调模型，先检查data_processing/feature_engineering.py里的add_lag_features()——北京数据中，风向（WD）需滞后8小时才与PM2.5相关，若设成lag=1，模型永远学不到关键物理关系。

最后分享一个小技巧：在test.py末尾加一段代码，自动发送邮件告警：

import smtplib if test_mae > 70: # 设定阈值 server = smtplib.SMTP('smtp.gmail.com', 587) server.starttls() server.login("your_email@gmail.com", "your_app_password") server.sendmail("from", "to", f"ALERT: Test MAE={test_mae:.2f} exceeds threshold!")

把模型监控融入运维流程，这才是工业级项目的终点。

本文还有配套的精品资源，点击获取

查看全文

http://www.jsqmd.com/news/956869/