深度学习 —— 梯度下降法的优化方法
目录
一、梯度下降法 回顾
二、梯度下降法的缺点
三、如何选择优化方法
1.了解 —— 指数移动加权平局
1.1 公式
1.2 图例说明
1.3 结论
2.优化方法：
2.1 图解
2.2 如何选择优化方法
2.3 对应API
动量法 Momentum
AdaGrad 自适应学习率
RMSprop 自适应学习率
Adam 自适应矩估计
AdamW 自适应矩估计
2.4 梯度下降法优化方法总结
一、梯度下降法 回顾
W新 = W旧 - 学习率 * 梯度
假设 学习率 lr = 0.1.
① 6.4 = 8.0 - 0.1 * 16.0
② 5.12 = 6.4 - 0.1 * 12.8
③ 4.01 = 5.12 - 0.1 * 10.24
...
二、梯度下降法的缺点
1.碰到平缓区间，梯度值较小，参数优化变慢
2.碰到”鞍点“，梯度为0，参数无法优化
3.碰到局部最小值，参数不是最优。无法跳出
比如 y = x ^ 3 。x = 0的时候 就是”鞍点“ 导数为0
三、如何选择优化方法
1.了解 ——指数移动加权平局
1.1 公式
1.2 图例说明
β = beta 一组散点天气数据
beta = 0 beta = 0.5
beta = 0.9 beta = 1
1.3 结论
1.对于指数移动加权平均值
β 值（调节系数）越大，移动加权平均值越平缓，越考虑历史数据。
β 值 越小，移动加权平均值越接近当前数据。
2.特例：β 值 = 0，就是当前数据的原始值
β 值 = 1，就是第一天的初始值
2.优化方法：
2.1 图解
2.2 如何选择优化方法
* Adam / AdamW (推荐) -> RMSprop -> 动量法 Momentum -> 原始SGD，AdaGrad （不建议）
对比 Adam 和 AdamW
Adam：
① 同时调整 学习率 和 梯度
② 使用梯度一阶矩来调整梯度，二阶矩来调整学习率
AdamW：
① Adam的优化版
② 解耦了权重衰减
③ 原始Adam直接在梯度中添加了 权重衰减项，使得调整梯度和调整学习率藕合在一起，会造成模型训练后期不稳定。
④ AdaW 使用原始梯度，在更新参数时直接添加权重衰减项目，解耦了调整梯度和调整学习率
2.3 对应API
# 优化器模块，实现梯度下降法以及梯度下降的优化方法 import torch.optim as optim动量法 Momentum
optim.SGD([w],lr=0.01,momentum=0.95)AdaGrad 自适应学习率
optim.Adagrad([w],lr=0.01)RMSprop 自适应学习率
optim.RMSprop([w],lr=0.01)Adam 自适应矩估计
optim.Adam([w],lr=0.01)AdamW 自适应矩估计
optim.AdamW([w],lr=0.01)2.4梯度下降法优化方法总结
1. SGD原始梯度下降法：optim.SGD, 使用当前梯度直接更新参数，用于凸优化问题，容易陷入局部最优解
2. 动量法Momentum: optim.SGD(momentum=0.9), 引入动量概念，利用历史梯度信息，加速收敛
3. AdaGrad: optim.Adagrad, 自动调整学习率，学习率下降过快过早，导致模型更新慢
4. RMSprop: optim.RMSprop, 自动调整学习率，对AdaGrad的改进
5. Adam: optim.Adam, 结合 动量法和RMSprop，同时调整学习率和梯度，训练稳定
6. AdamW: optim.AdamW, 对Adam的改进，解决权重衰减问题，推荐使用