高缺失率时空数据插补实战：从随机森林到扩散模型的性能对比

1. 项目概述：当82%的数据都缺失时，我们如何“猜”出真实的空气质量？

处理现实世界的数据，尤其是像空气质量监测这样的时空数据，最让人头疼的问题之一就是“数据缺失”。传感器可能临时故障，网络传输会中断，移动监测车也有跑不到的盲区。我最近深度参与的一个项目，核心数据集来自爱尔兰都柏林的固定站点、谷歌街景车以及DPD快递车的移动传感器，三源数据融合后，PM2.5数据的缺失率依然高达82.42%。这意味着，在超过八成的时间和空间网格点上，我们不知道当时的PM2.5浓度究竟是多少。直接在这样的数据上做预测或分析，无异于在流沙上盖楼，结果根本不可靠。

数据插补技术，就是解决这个问题的“脚手架”。它的目标不是创造数据，而是基于已知数据的模式、规律和关联性，尽可能合理地估算出缺失值，为后续的建模分析提供一个相对完整、可靠的基础。这次项目的核心，就是系统性地对比了多种前沿的机器学习插补方法，包括传统的集成学习、近年来大热的深度学习时序模型，以及生成式AI领域的明星——扩散模型，看看在如此极端的高缺失率场景下，谁更能“还原真相”。

最终，我们发现结合了交通流量、气象条件等外部特征的扩散模型，在F1分数（综合衡量精确率和召回率）上达到了0.9486，表现最为均衡；而随机森林这类集成方法，则以94.82%的准确率独占鳌头。这个结果不仅为高缺失率时空数据处理提供了扎实的工程范本，也揭示了不同技术路线的适用场景：如果你追求极致的整体猜中率，集成学习是稳妥的选择；但如果你更关心模型能否公平、准确地识别出各类污染事件（尤其是较高的污染级别），那么扩散模型展现了独特的潜力。无论你是环境数据分析师、机器学习工程师，还是任何需要处理不完整时空数据的从业者，这次从数据清洗、特征工程到模型对比的完整实践，都值得你仔细琢磨。

2. 核心挑战与数据蓝图：理解82.42%缺失率背后的时空迷宫

在动手建模之前，我们必须先彻底理解手中的数据：它从哪来，缺在哪，以及为什么这么缺。这是所有数据科学项目的基石，在高缺失率场景下更是成败的关键。

2.1 多源异构数据的融合与冲突

我们的数据来自三个渠道，各有优劣：

1. 谷歌街景车数据：优势在于空间分辨率极高，能细化到约50米的路段。但它是移动采集，时间上不连续，且集中在车辆运行时段（白天），导致时间覆盖率低，缺失率高达98.68%。
2. 爱尔兰环保署固定站点数据：优势是时间序列完整，提供小时级的连续监测。但站点数量有限，空间覆盖严重不足，只能代表少数几个点的状况，空间缺失率高达91.51%。
3. DPD快递车移动传感器数据：由102辆快递车和22个固定点构成网络，在时空覆盖上做了较好的平衡，但依然存在大量监测盲区和时段，缺失率为89.61%。

实操心得：多源数据融合听起来美好，但实操中会遇到大量对齐问题。例如，三者的监测指标只有PM2.5是完全重合的，这直接决定了我们只能以PM2.5为核心分析目标。此外，移动传感器和固定站点的监测原理、校准方式可能存在差异，直接简单平均可能会引入系统误差。我们在预处理阶段进行了初步的一致性检查，但更严谨的做法是进行传感器间的交叉校准，这在资源允许的情况下应作为必要步骤。

2.2 网格化处理与高缺失率的成因

为了统一分析，我们将都柏林市中心区域划分为500米×500米的网格（7行×10列，共70个网格）。每个网格内、每小时的数据进行平均，理论上每个网格应有92天×24小时=2208个数据点。

然而，理想很丰满，现实很骨感。计算下来，原始数据的缺失率惊人。即使将三源数据在网格内进行平均融合，整体缺失率仍达82.32%。这个高缺失率并非随机，而是具有强烈的时空模式：

• 时间模式：通过时间序列分解（见图1），我们发现PM2.5浓度存在明显的24小时周期性（季节性成分），这与早晚交通高峰高度吻合。同时，谷歌数据在夜间完全缺失，这直接导致了大量网格在夜间时段没有任何观测值。
• 空间模式：从空间分布图（见图2）看，环保署的数据点（绿色）稀疏且固定，而DPD和谷歌的数据点（橙色和蓝色）虽然覆盖较广，但分布不均匀，主要集中在交通干道。这意味着远离道路的居民区、公园等网格，可能长期缺乏有效观测。

核心思路解析：面对这种非随机、具有时空相关性的缺失，我们不能使用简单的均值或中位数填充。必须利用数据的内在结构——即PM2.5在时间上的周期性、趋势性，在空间上的相关性（邻近网格浓度相似），以及它与外部因素（如交通、天气）的关联——来构建预测模型进行插补。这本质上是一个“时空预测”问题：用已知时空点上的观测值，去预测未知时空点上的值。

2.3 特征工程：为模型注入“常识”

特征决定了模型认知世界的维度。我们构建的特征体系主要包括以下几类：

1. 时空基础特征：
   • wkd(星期几): 捕捉每周的周期性模式（如工作日与周末的排放差异）。
   • h(小时): 捕捉每日的周期性模式（早晚高峰）。
   • lat,lon(网格经纬度独热编码): 将空间位置转化为模型可识别的类别特征，让模型能学习每个网格的“基线”污染水平。
2. 邻近站点信息：
   • s_dis_1,s_val_1,s_dis_2,s_val_2: 计算每个网格中心到最近两个固定站点的距离及其观测值。这是利用空间相关性的关键，假设污染浓度在空间上是平滑变化的。
3. 外部驱动特征：
   • 交通数据(t_sum,t_avg): 来自都柏林市政府的SCATS探测器，包含小时总流量和5分钟平均流量。机动车尾气是城市PM2.5的主要来源之一，这是最重要的特征之一。
   • 气象数据(w_t温度,w_p降水,w_r湿度等): 来自爱尔兰气象局。风速、风向影响污染物扩散，降水有冲刷作用，温度、湿度可能影响二次颗粒物的形成。这些特征帮助模型理解污染物在物理上的扩散和转化过程。

注意事项：引入外部特征是一把双刃剑。一方面，它们能极大提升模型性能（后续实验证实了这一点）；另一方面，这要求这些特征本身在预测时段也是可获取的。在实际部署的预报系统中，你需要确保未来时刻的交通预测和气象预报是可靠的，否则会引入新的误差源。

2.4 目标变量重构与类别不平衡处理

我们并非直接回归PM2.5的具体浓度值，而是将其根据欧盟空气质量指数分级标准，转化为分类问题（非常低、低、中、高、非常高）。这更符合公共卫生预警的实际需求。

然而，数据出现了严重的类别不平衡：绝大多数样本集中在“非常低”和“低”级别，而“高”污染级别的样本极少。直接训练模型会导致模型“偏向”多数类，对关键的污染事件视而不见。

我们的解决方案：

1. 类别合并：由于“非常高”级别样本极少（仅1个），我们将其与“高”级别合并，将问题简化为四分类。
2. 使用SMOTE过采样：在训练集（注意：仅在训练集！）上，对少数类���本进行合成过采样，生成人工样本，使各类别数量大致平衡。这能有效防止模型忽视少数类。

重要提示：SMOTE绝不能用于测试集，否则会造成数据泄露，严重高估模型性能。务必在训练/测试划分后，仅对训练数据进行重采样。

3. 机器学习插补技术全景对比：从传统集成到前沿扩散模型

面对高缺失率的时空数据，我们选取了三大类具有代表性的机器学习模型进行对比实验：稳健的常规机器学习与集成模型、擅长捕捉复杂时序依赖的深度学习模型，以及具有强大数据生成能力的扩散模型。每一类模型都有其独特的哲学和适用场景。

3.1 常规机器学习与集成模型：稳健的基线

这类模型结构相对简单，训练速度快，可解释性较强，常作为性能基线。

• K最近邻：原理简单直接，对于某个缺失值，在特征空间中找到与其最相似的K个已知样本，用这些样本目标值的均值或众数进行填充。它的性能严重依赖于特征空间的距离度量是否有效，且计算量随样本数增长而增大。
• 随机森林：这是我们本次实验的“准确率冠军”。它通过构建大量决策树并进行投票来做出决策。其强大之处在于：1) 能自动处理特征间的非线性关系；2) 通过袋外采样和特征随机选择，具有良好的抗过拟合能力；3) 可以输出特征重要性，帮助我们理解哪些因素（如交通流量、邻近站点值）对PM2.5等级预测最关键。
• XGBoost：梯度提升树的优秀实现，以高性能著称。它通过迭代地训练一系列弱学习器（通常是决策树），每一棵新树都致力于纠正前一棵树的残差。它通常能取得比随机森林稍高的精度，但对参数调优更敏感。
• 多层感知机：最简单的神经网络，可以看作一个高级的非线性函数拟合器。我们构建了一个包含两个隐藏层的MLP，用于验证即使简单的神经网络也能从特征中学习复杂模式。

配置要点：

• RF/XGB：我们设置了n_jobs参数以并行化训练，充分利用多核CPU加速。
• MLP：使用了tanh激活函数和Adam优化器，并设置了自适应学习率以稳定训练。
• 特征对比：我们对每个模型都测试了“仅基础特征”和“基础+外部特征”两种配置，以量化外部信息带来的增益。

3.2 深度学习时序模型：捕捉时空动态

PM2.5数据是典型的时空序列数据，当前的浓度与过去几小时、甚至邻近区域的浓度密切相关。深度学习模型，特别是循环神经网络及其变体，专精于此。

• LSTM：长短期记忆网络，通过其精巧的门控机制（输入门、遗忘门、输出门），能够学习长期的时间依赖关系。例如，它可以学习到“如果过去3小时交通持续拥堵且风速很低，那么当前PM2.5很可能升高”这样的复杂模式。
  • 分类器模式：我们设计了一个包含两个LSTM层（128和64单元）的网络，后接全连接层，直接输出PM2.5的类别概率。
  • 序列预测模式：另一种思路是将问题构建为序列到序列的预测，用前N个小时的数据来预测当前时刻的类别。我们使用了类似的LSTM和GRU结构进行尝试。
• GRU：门控循环单元，可以看作是LSTM的简化版，将遗忘门和输入门合并为更新门。参数更少，训练更快，在不少任务上能达到与LSTM相近的性能。

实操心得：对于时序数据，数据输入的结构至关重要。我们需要将数据组织成样本格式，例如，用过去12小时的特征序列（X.shape = [batch_size, 12, num_features]）来预测当前时刻的标签。同时，在LSTM层后加入Batch Normalization和Dropout层（我们设为0.3）是防止过拟合、加速训练收敛的关键技巧。

3.3 扩散模型：生成式插补的新范式

扩散模型是当前生成式AI的皇冠，其核心思想是通过一个“加噪-去噪”的过程来学习数据分布。我们将它创新性地应用于时空数据插补。

• 核心思想：假设完整的数据（包括已知值和缺失值）有一个真实的分布。扩散模型通过两个过程学习这个分布：
  1. 前向扩散过程：在T个时间步内，逐步向完整数据中添加高斯噪声，直到数据完全变成随机噪声。这个过程是固定的，无需学习。
  2. 反向去噪过程：训练一个神经网络（通常是U-Net），学习如何从第t步的带噪数据中，预测出第t-1步的、噪声更少的数据。通过迭代去噪，最终可以从纯噪声生成符合原始数据分布的新样本。
• 在插补中的应用：对于有缺失的数据，我们可以将已知部分作为条件，让模型在去噪过程中，不仅学习数据分布，还要保证生成的结果与已知部分一致。这相当于让模型“根据已知的部分，想象出缺失的部分应该长什么样”。
• DDPM vs. LDM：
  • DDPM：在原始数据空间进行扩散。我们采用了U-Net结构，它能很好地捕捉数据的多尺度特征。
  • LDM：先在编码器中将数据压缩到一个低维的潜在空间，在潜在空间进行扩散，最后再用解码器恢复回原始空间。这样做的好处是大幅降低了计算复杂度，因为扩散过程在更低维的空间进行。

参数设置与挑战：我们设置了100个扩散步长，以平衡生成质量和计算成本。学习率设为1e-3，使用Adam优化器。训练扩散模型需要大量的计算资源和时间，且对超参数（如噪声调度表β_t）比较敏感。但其优势在于，它本质上是在建模整个数据的联合概率分布，理论上能生成更符合数据真实规律的插补值，尤其是在数据复杂、缺失模式不规则时。

4. 实验结果深度剖析：谁在何种场景下更胜一筹？

所有模型在相同的训练集（经过SMOTE平衡）和测试集上运行，我们以准确率、精确率、召回率和F1分数作为核心评估指标。实验结果（见表II）揭示了一些非常有趣且具有指导意义的发现。

4.1 集成学习的统治力：随机森林为何能夺冠？

随机森林在“基础+外部特征”的设置下，取得了94.82%的最高准确率。这个结果并非偶然，其背后有深刻的原理支撑：

• 对高维特征和缺失的天然鲁棒性：随机森林在构建每棵树时，只使用部分样本和部分特征，这种随机性使得它对数据集中的噪声、异常值以及特征缺失不那么敏感。在我们的场景中，即使某些外部特征（如某个气象站数据）临时缺失，RF也能基于其他特征做出相对可靠的判断。
• 非线性关系捕捉与特征重要性：决策树能够完美地捕捉特征与目标之间的非线性、交互作用。通过分析RF输出的特征重要性，我们发现t_sum（交通总流量）、s_val_1（最近站点观测值）和w_t（气温）位列前茅。这直观地印证了交通排放是本地PM2.5的主要来源，而空间邻近性和气象条件则是重要的影响因子。
• 过拟合控制：通过“袋外”误差，RF可以无需单独的验证集就进行有效的模型性能估计和泛化能力评估。

然而，RF的弱点在混淆矩阵（图3a）中暴露无遗：它对“非常低”（类别0）的预测准确率高达99.09%，但对“中”（类别2）的识别能力很弱。这说明RF更倾向于预测为样本最多的类别，在平衡精确率和召回率（即F1分数）上，它略逊于LDM。

4.2 扩散模型的均衡之美：F1分数背后的故事

潜在扩散模型取得了最高的F1分数（0.9486），这是一个比���纯准确率更综合的指标，尤其在类别不平衡问题中更具参考价值。

分析LDM的混淆矩阵（图3b）和ROC曲线（图3d），我们发现：

• 更均衡的类别识别：LDM对各个类别的识别能力相对平均。虽然对类别0的准确率（95.22%）低于RF，但对类别1和2的识别率（79.62%， 72.22%）显著高于RF。其对于类别2的AUC达到了0.86，说明模型能够较好地区分中等污染和低污染事件。
• 生成式模型的优势：扩散模型通过学习和生成数据的整体分布来进行插补。这意味着它在“想象”缺失值时，不仅考虑了特征之间的相关性，还考虑了数据本身的分布形态（如PM2.5浓度的偏态分布）。这种基于分布的学习，可能使其在预测那些偏离主体分布但至关重要的“事件”（如污染峰值）时，具有更好的校准性。

一个生动的类比：如果把插补任务比作修复一幅破损的古画，RF像一个技艺高超的临摹师，它根据画作其他部分的风格和颜料，能非常准确地补全背景（多数类）。而LDM更像一个理解了画家全部作品风格和意境的艺术家，它补全的部分不仅在局部和谐，在整体气韵上也更连贯，因此对于画中关键人物（少数类，即污染事件）的神韵捕捉可能更到位。

4.3 外部特征的“放大器”效应

实验结果清晰地展示了外部特征的价值。对于KNN和MLP这类基础模型，加入交通和气象特征后，准确率提升了超过7个百分点，堪称“雪中送炭”。这证实了PM2.5浓度并非孤立的时间序列，而是由交通、气象等外部系统共同驱动的。

但有趣的是，对于XGBoost，加入外部特征后准确率反而略有下降。这可能是因为：

1. 特征冗余：XGBoost本身具有强大的特征选择和组合能力，可能从基础时空特征中已经挖掘出了与外部特征高度相关的模式。额外加入的特征若信息量不足，反而可能引入噪声。
2. 过拟合风险：在树模型中，特征越多，模型复杂度越高，在数据量不是极端庞大的情况下，更容易对训练集产生过拟合。

这个现象提醒我们：特征工程不是越多越好。对于强大的模型，需要进行细致的特征筛选和降维，找到最具信息量的特征子集。

4.4 深度学习模型的“滑铁卢”与启示

出乎意料的是，LSTM和GRU模型在本任务中的表现并不突出，甚至低于一些常规模型。这可能由以下几个原因导致：

1. 数据缺失对序列结构的破坏：LSTM期望处理的是连续、完整的序列。而我们高达82%的缺失率，导致输入序列中存在大量“空洞”。虽然可以用0或均值进行初步填充后再输入，但这种填充本身是噪声，严重干扰了LSTM对长期依赖的学习。
2. 数据量相对不足：深度模型通常需要海量数据才能充分训练。尽管我们使用了3个月的小时数据，但经过网格划分和缺失后，有效样本量对于深度网络来说可能仍显不足。
3. 任务形式：我们将问题主要构建为基于当前时刻特征的分类，而非严格的长时间序列预测，这可能未能完全发挥LSTM的时序建模优势。

改进方向：针对时空数据缺失，更先进的思路是使用专门为稀疏时空数据设计的架构，如图神经网络（将每个网格视为图节点，网格间的空间距离或道路连通性作为边），或者时空注意力模型，它们能更灵活地处理不规则采样的数据。

5. 工程实践指南：从实验到落地的关键步骤

基于以上实验和分析，我总结出一套处理高缺失率时空数据插补问题的实战流程和避坑指南。

5.1 数据预处理与特征工程标准化流程

1. 时空对齐与网格化：将不同来源、不同频率的数据统一到相同的时空尺度（如500米网格，1小时平均）是第一步。务必记录每个网格-时间点的数据来源，便于后续分析不确定性。
2. 缺失模式诊断：绘制缺失数据的热力图（按时间和空间维度），识别缺失是随机缺失、完全随机缺失还是非随机缺失。我们的案例属于非随机缺失（与时间、地点强相关），这决定了我们不能用简单插补法。
3. 基础特征构建：必须包括时间周期特征（小时、星期、月份）、空间位置特征（独热编码或嵌入编码）。对于时空数据，考虑加入滞后特征（如前一时段的PM2.5值）和空间滞后特征（如邻近网格的平均值），这对模型捕捉自相关性至关重要。
4. 外部特征融合：尽可能收集相关的协变量数据。交通、气象是最常见的。此外，还可以考虑路网密度、人口密度、土地利用类型（住宅、工业、商业）、节假日信息等。特征需要与目标变量在同一时空粒度上对齐。
5. 目标变量处理：根据业务目标决定是回归（预测具体浓度）还是分类（预测污染等级）。分类问题更稳健，且便于与空气质量指数对接。务必处理类别不平衡问题。

5.2 模型选择与迭代策略

不要一开始就追求最复杂的模型。建议采用以下迭代策略：

1. 建立基线：首先使用简单的插补方法（如时空KNN、线性插值）填充缺失值，然后用一个简单的模型（如逻辑回归、RF）评估预测性能。这个结果将作为后续复杂模型的对比基线。
2. 快速验证：在基线基础上，尝试随机森林和XGBoost。它们训练快，调参相对简单，且能提供特征重要性分析，帮助你理解数据。这往往是性价比最高的选择。
3. 深入攻坚：如果集成模型在关键指标（如对少数类的召回率）上不达标，且你有充足的计算资源和数据，再考虑深度学习或扩散模型。可以从相对简单的LSTM+注意力机制开始，再尝试更复杂的时空图网络或扩散模型。
4. 模型集成：可以考虑将不同模型的预测结果进行集成。例如，用RF的输出概率和LDM的输出概率进行加权平均，有时能结合两者的优势，获得更稳定的表现。

5.3 常见陷阱与排查清单

• 陷阱一：数据泄露。这是最容易犯且最致命的错误。务必确保：任何基于全局统计的填充（如全局均值）、SMOTE过采样、特征标准化（Scaler拟合），都只能在训练集上进行，然后用训练集得到的参数去处理验证集和测试集。
• 陷阱二：忽视不确定性。所有插补值都是估计，存在不确定性。对于关键决策应用（如健康预警），应输出预测的置信区间或概率分布。贝叶斯方法或扩散模型本身能提供一定程度的不确定性估计。
• 陷阱三：模型评估偏误。在包含插补值的数据集上评估下游任务（如预测）的性能时，结果可能过于乐观。更严谨的做法是进行“人工掩码”实验：随机隐藏一部分已知真实值的数据，用模型插补，然后比较插补值与真实值的误差。
• 陷阱四：对缺失机制的误判。如果数据是“非随机缺失”，且缺失原因与目标变量本身相关（例如，高污染导致传感器故障），那么任何忽略这种机制的插补方法都会产生有偏估计。此时需要更高级的统计模型（如Selection Model, Pattern Mixture Model）或进行敏感性分析。

排查清单：

• [ ] 训练/验证/测试集是否按时间顺序划分？（防止未来信息泄露）
• [ ] 所有预处理步骤的参数是否仅从训练集学习？
• [ ] 类别不平衡问题是否已在训练集中妥善处理？
• [ ] 外部特征在预测未来时是否可获得？
• [ ] 模型是否在验证集上出现了过拟合？（关注训练损失和验证损失的差距）
• [ ] 最终模型在完全独立的测试集上的性能是否与验证集一致���

6. 未来展望与个人思考

这次针对高缺失率PM2.5数据的插补实验，与其说给出了一个“最佳模型”的答案，不如说清晰地描绘了不同技术路线的能力地图。随机森林以其惊人的鲁棒性和可解释性，依然是工业界应对此类问题的中流砥柱。而扩散模型所展现出的在捕捉复杂数据分布和均衡各类别性能上的潜力，则为我们打开了一扇新的大门，特别是在对少数类事件预测精度要求极高的场景（如极端污染预警）下。

从我个人的实践经验来看，在处理类似时空数据缺失问题时，有两点体会尤为深刻： 第一，“数据理解”的价值远高于“模型炫技”。花费在分析数据缺失模式、时空相关性、以及外部变量物理关联性上的时间，最终都会在模型性能上得到回报。很多时候，一个精心构造的特征（如“上风向上游站点的浓度”），其带来的提升可能超过更换一个更复杂的模型。 第二，没有“银弹”，只有“合适的选择”。项目目标决定了技术选型。如果目标是构建一个稳定、可解释、易于部署的日常监测系统，随机森林或XGBoost是更务实的选择。如果目标是研究前沿，或需要为高风险决策提供概率化、不确定性量化的支持，那么投入资源探索扩散模型或贝叶斯深度学习模型是值得的。

未来，一个很自然的延伸是将这套插补框架与实时预测和决策系统结合。例如，在插补出完整的、高时空分辨率的空气质量场后，可以将其输入到路径规划算法中，为行人、骑行者提供动态的、低暴露的健康出行路线建议。这正从“感知”走向“干预”，让数据智能真正服务于公共健康，这也是我们从事环境数据分析的终极意义所在。