斯坦福-CS236 Lecture 17 扩散模型 PPT标注

ODE的似然

DDIM 扩散模型的加速采样方法

1. 我们不再按原来的稠密时间步（比如 1000 步）走，而是对时间轴做 “粗离散化”，只取少数几个关键节点，用大步长直接从t=T跳到t=0

ParaDDPM

1. ODE能并行的原因是它是一条唯一的轨迹，不像SDE带了布朗运动dw，同一起点每次走的轨迹都不一样，就这个区别让ODE能并行，SDE实现不了；

蒸馏的方式跨大步

1. 先训练一个小离散的慢模型充当老师，然后再训练一个学生模型（跨步更大），让慢模型生成一堆样本，基于这些样本去训练学生模型，然后递归的让这个学生模型充当老师模型将生成步骤减得足够少；

潜空间扩散模型

1. 先用VAE编码器提取潜在特征Z，再将Z作为扩散模型的输入；
2. 这样就能将扩散模型用于任何数据，包括文本；

条件生成扩散模型

1. 目的是根据描述生成图像，训练时输入是图像以及其对应的图像描述，带条件生成图像，需要一个合适的架构；

使用一个生成模型+一个分类器

1. p(x)是一个生成器，有一个判别器p(y|x)，如果你要生成一个是狗的图像即p(x|y)，可通过左上方的公式计算得到，但是p(y)需要积分，和是一个问题，因此使用其对数的导数，对其进行x求导后等于0了；