2025_NIPS_Diffusion Transformers for Imputation: Statistical Efficiency and Uncertainty Quantific...
文章核心总结
主要内容
该研究聚焦时间序列数据缺失值插补问题，针对扩散模型在插补任务中缺乏理论支撑、性能受缺失模式影响等痛点，以扩散Transformer（DiT）为核心展开研究。通过高斯过程数据建模，推导了DiT学习缺失值条件分布的样本复杂度边界，提出基于算法展开的分数函数近似理论，构建了可靠的缺失值置信区间，并设计混合掩码训练策略提升模型对不同缺失模式的适应性。实验在高斯过程、潜在高斯过程及真实数据集上验证了理论的有效性，DiT在插补精度和不确定性量化上均优于CSDI、GP-VAE等基准模型。
创新点
- 统计效率理论：首次推导DiT插补的样本复杂度边界，证明其收敛率为(\tilde{O}(\sqrt{H d^{2} \kappa^{5}} / \sqrt{n}))，揭示缺失模式通过协方差矩阵条件数影响插补性能。
- 不确定性量化：基于训练后的DiT生成大量样本，构建置信区间，证明其覆盖率收敛至目标水平，且收敛率与条件分布估计一致。
- 混合掩码训练策略：融合多种缺失模式（随机、弱分组、中分组、强分组）进行训练，降低分布偏移，提升模型对复杂缺失场景的鲁棒性。
- 分数函数近似理论：通过嵌套梯度下降算法展开，提出Transformer对条件分数函数的近似方法，为扩散模型的Transformer架构提供理论支撑。