第二讲下梯度下降算法

梯度下降算法

梯度下降有时会使loss不降反而上升原因是：

核心结论是：loss 上升主要源于学习率过高、数据 / 特征问题或模型设置不当，导致优化偏离最优方向。

关键原因

1. 学习率过大：步长超过最优解范围，每次更新都跳过最小值，甚至远离。
2. 数据 / 特征问题：数据未归一化（特征尺度差异大），或存在大量噪声、异常值，干扰梯度计算。
3. 模型设置不当：网络过深导致梯度消失 / 爆炸，激活函数选择不合理（如输出层用 ReLU 处理回归问题），或正则化强度过高。