扩散模型（Diffusion Model）
基本原理
扩散模型是一种生成模型，通过逐步添加噪声到数据中，再学习如何逆向去噪的过程来生成新样本。其核心思想是模拟物理中的扩散现象，将数据分布逐渐转化为高斯分布，再通过逆向过程恢复数据分布。
正向过程（扩散过程）通过马尔可夫链逐步向数据添加高斯噪声，每一步的噪声强度由预设的调度策略控制。逆向过程（生成过程）则通过学习一个神经网络来预测并去除噪声，逐步从纯噪声中恢复出有意义的数据。
数学框架
正向过程的每一步定义为：, 其中
是噪声调度参数，
是第t步的噪声数据。
逆向过程通过神经网络学习条件分布：目标是最小化逆向过程与真实去噪分布的KL散度。
训练方法
扩散模型的训练通常采用以下步骤：
- 采样数据点：从训练集中随机选择一个样本
。
- 随机时间步：均匀采样一个时间步
。
- 添加噪声：根据正向过程计算
。
- 预测噪声：训练网络
预测添加到
的噪声。
- 优化目标：最小化预测噪声与真实噪声的均方误差。
损失函数通常为：
改进方向
噪声调度优化：设计更合理的调度策略，如余弦调度、线性调度等，平衡训练稳定性和生成质量。
加速采样：通过改变逆向过程的步数或使用知识蒸馏等技术，减少生成所需的计算步骤。
条件生成：引入类别标签、文本描述等条件信息，实现可控生成。
架构改进：结合U-Net、Transformer等网络结构提升模型容量和生成质量。
应用领域
图像生成：实现高保真度的图像合成，支持超分辨率、图像修复等任务。
音频生成：用于音乐合成、语音生成等音频处理应用。
分子设计：在药物发现领域生成具有特定性质的分子结构。
跨模态生成：结合文本、图像等多模态信息，实现文本到图像等跨模态生成任务。
本文来源于网络学习后，通过个人总结等完成，感谢各位前辈的总结，如有不妥或有误的地方，欢迎大家来讨论，批评指正！