当前位置：首页 > news >正文

别再死磕DDPM了！用Score-Based Generative Modeling（SGM）从另一个角度理解扩散模型

news 2026/5/8 14:20:47

从分数视角重构生成模型：Score-Based Generative Modeling的数学美学与实践价值

当你在深夜调试DDPM的噪声预测网络时，是否曾对那个看似简单的ε_θ产生过怀疑？为什么我们要绕道预测噪声，而不是直接建模数据分布的本质特征？2019年出现在NeurIPS上的那篇《Generative Modeling by Estimating Gradients of the Data Distribution》论文，带来了一把解开这个疑惑的钥匙——分数（Score）。这个在概率密度函数梯度中诞生的概念，正在重塑我们对生成模型的认知方式。

1. 为什么需要Score-Based的视角？

在DDPM大行其道的今天，分数生成模型（Score-Based Generative Modeling，SGM）提供了一种更具数学直观性的替代方案。其核心价值体现在三个维度：

直接建模数据流形结构：分数函数∇ₓlog p(x)本质描述了数据分布的概率密度梯度场，相当于直接刻画了数据在特征空间中的"地形图"。相比之下，DDPM的噪声预测更像是这个梯度场的间接表达。
统一框架下的灵活扩展：基于分数的框架可以无缝衔接离散和连续时间建模，后来发展出的SDE形式更是将DDPM和SGM统一在了同一理论框架下。这种扩展性在Song Yang 2021年的工作中得到了完美展现。
采样效率的潜在优势：Langevin动力学采样允许在低概率密度区域采用更大步长，在高概率区域精细调整。实际测试显示，在图像生成任务中，SGM相比DDPM通常能减少20-30%的采样步骤。

技术细节：分数函数的Stein估计量具有渐进一致性，这使得基于分数的训练目标比传统的最大似然估计在某些情况下更具鲁棒性。

2. 分数函数与噪声预测的隐秘关联

表面上看，DDPM预测噪声而SGM预测分数，二者似乎采用了完全不同的建模路径。但通过简单的数学推导，我们会发现它们共享着相同的本质：

# DDPM的噪声预测目标 def ddpm_loss(noise_pred, true_noise): return MSE(noise_pred, true_noise) # SGM的分数预测目标 def sgm_loss(score_pred, x_t, x_0, sigma_t): true_score = -(x_t - x_0)/sigma_t**2 return MSE(score_pred, true_score)

当我们将这两个损失函数放在同一尺度下比较时，会发现它们满足：

σₜ²·Lₛₒᵣₑ = Lₙₒᵢₛₑ

这一等式揭示了两种方法的本质一致性。不同之处在于：

DDPM通过隐式学习分数函数
SGM则显式建模分数场

3. 分数建模的技术实现关键

3.1 网络架构设计

SGM的核心是构建一个能准确估计分数函数的网络sθ(xₜ,t)。实践中需要注意：

时间嵌入处理：与DDPM不同，SGM的时间步信息需要转化为连续尺度参数

class TimeEmbedding(nn.Module): def __init__(self, dim): super().__init__() self.dim = dim half_dim = dim // 2 emb = math.log(10000) / (half_dim - 1) self.register_buffer('emb', torch.exp(torch.arange(half_dim) * -emb)) def forward(self, t): emb = t[:, None] * self.emb[None, :] return torch.cat((emb.sin(), emb.cos()), dim=1)

分数缩放策略：不同噪声尺度下的分数值范围差异巨大，需要设计合理的归一化方案

3.2 噪声调度与训练技巧

SGM对噪声调度方案的选择比DDPM更为敏感，推荐采用几何级数的噪声计划：

噪声级别	σ范围	适用数据类型
低噪声	0.01-0.1	高分辨率图像
中噪声	0.1-1.0	常规图像
高噪声	1.0-10.0	低质量数据

训练时的关键技巧包括：

分数裁剪（Score Clipping）防止梯度爆炸
重要性采样平衡不同噪声级别的训练样本
指数移动平均（EMA）稳定模型参数

4. 采样算法的艺术：超越Langevin Dynamics

虽然原始论文提出了基于Langevin Monte Carlo的采样方法，但后续研究发展出了更多高效方案：

4.1 Predictor-Corrector 采样

结合ODE求解器和分数校正的混合方法：

预测步：使用欧拉方法沿分数场方向移动
校正步：应用Langevin动力学进行局部细化

def predictor_corrector(s_theta, x, t, steps=5): # 预测步 x_pred = x + dt * s_theta(x, t) # 校正步 for _ in range(steps): noise = torch.randn_like(x) x_pred = x_pred + 0.5 * alpha * s_theta(x_pred, t) x_pred = x_pred + math.sqrt(alpha) * noise return x_pred