044、代码实战九：在简单文本数据集上训练Diffusion-LM

一、从实际调试问题开始

昨天深夜调试模型时遇到一个典型问题：扩散模型在文本生成任务上输出全是乱码，loss曲线看起来正常但采样结果完全不可读。排查了三小时，最后发现是词嵌入层在扩散过程中没有正确进行噪声尺度缩放。这个问题让我意识到，文本扩散模型的实现细节比图像扩散模型更敏感——今天我们就从这个问题切入，聊聊如何在简单文本数据集上正确训练Diffusion-LM。

二、数据准备与预处理

我们先准备一个极简的文本数据集，这里用几个固定句子作为示例。实际项目中你可以替换为任何短文本语料。

# 这里踩过坑：文本长度不统一会导致训练不稳定# 建议要么截断要么填充，别混着来sentences=["the cat sat on the mat","dogs are good pets","machine learning is fun"