模型训练过程中损失函数震荡的原因

模型训练过程中损失函数的震荡可以分为两种情况，第一种情况是一开始就剧烈震荡，损失函数不收敛，第二种情况是整体呈现收敛趋势，但训练过程当中会存在震荡情况，两种情况产生的原因往往不一样。

剧烈震荡不收敛

模型一开始就剧烈震荡，损失函数值比较大，而且不会收敛，此时可能的原因有以下几点：

• 学习率过大：当设置的学习率过大时，计算出来的梯度方向变化较大，导致模型优化方向变化大，损失函数震荡，无法进行有效学习，当数据存在问题时，首先排查学习率是否设置过大，尤其是使用 SGD 优化器时，损失函数往往需要精心配置

• 数据或者标签存在问题：当数据或者标签存在问题时，模型学习到的东西之间会互相排斥，部分数据标签不正确会导致模型在学习到的正确的和错误的模式之间来回切换，无法进行优化，即使再优秀的模型也无济于事

• 模型初始化不当

• 梯度爆炸

整体收敛但周期性小幅震荡

模型整体上呈现收敛趋势，但在整个训练过程当中，会存在周期性的小幅度震荡，比如损失函数突然开始升高，后续有开始下降，这种情况一般是由一下几种原因导致的：

• batch_size过小：小批量的数据会包含较多的噪声，每个batch计算出来的梯度方向之间可能存在较大的差异，因此可能会周期性的产生小幅震荡的情况

• 优化器配置不当：当使用的时普通的SGD优化器时，动量不足会比较容易产生震荡，可以切换为AdamW或带有动量的SGD优化器

• 学习率与batch_size不匹配：如果增大了batch_size但没有相应调整学习率，可能会破坏训练的稳定性，一般来说增大batch_size会同步适当提高学习率