Pytorch图像去噪实战（三十二）：Warmup + Cosine学习率调度，解决训练前期不稳和后期震荡问题

Pytorch图像去噪实战（三十二）：Warmup + Cosine学习率调度，解决训练前期不稳和后期震荡问题

一、问题场景：固定学习率训练，前期抖、后期不收敛

在图像去噪训练中，很多代码都会写：

optimizer=torch.optim.AdamW(model.parameters(),lr=1e-4)

然后从头到尾固定学习率。

这种写法能跑，但在真实项目里经常出现：

• 前几个 epoch loss 波动很大