PyTorch torch.optim 优化器介绍与论文

概述

torch.optim是 PyTorch 提供的优化器模块，包含多种梯度下降优化算法。

常用优化器

1.SGD(Stochastic Gradient Descent) - 随机梯度下降

简介：最基础的优化算法，使用固定学习率更新参数。

公式：

v_t = momentum × v_{t-1} + g_t θ_t = θ_{t-1} - lr × v_t

特点：

• 简单稳定
• 收敛速度较慢
• 适合凸优化问题

论文：

• 原始 SGD：

  • Stochastic Approximation
  • 链接：https://projecteuclid.org/journals/annals-of-mathematical-statistics/volume-22/issue-3/Stochastic-approximation/10.1214/aoms/1177729586.full
  • 作者：Herbert Robbins, Sutton Monro
  • 年份：1951

• Momentum SGD：

  • On the importance of initialization and momentum in deep learning
  • 链接：https://proceedings.mlr.press/v28/sutskever13.html
  • 作者：Ilya Sutskever, et al.
  • 年份：2013

使用示例：

optimizer=torch.optim.SGD(model.parameters(),lr=0.01,momentum=0.9)

2.Adam(Adaptive Moment Estimation) ⭐ 最常用

简介：自适应学习率优化器，结合了动量和自适应学习率。

公式：

m_t = β₁ × m_{t-1} + (1 - β₁) × g_t # 一阶矩估计 v_t = β₂ × v_{t-1} + (1 - β₂) × g_t² # 二阶矩估计 m̂_t = m_t / (1 - β₁^t) # 偏差修正 v̂_t = v_t / (1 - β₂^t) θ_t = θ_{t-1} - lr × m̂_t / (√v̂_t + ε)

特点：

• ✅ 自适应学习率
• ✅ 收敛速度快
• ✅ 对超参数不敏感
• ✅ 适合大多数深度学习任务

论文：

• Adam: A Method for Stochastic Optimization
  • 链接：https://arxiv.org/abs/1412.6980
  • 作者：Diederik P. Kingma, Jimmy Ba
  • 年份：2014
  • 引用：~100,000+

使用示例：

optimizer=torch.optim.Adam(model.parameters(),lr=0.001,betas=(0.9,0.999))

3.AdamW(Adam with Weight Decay) ⭐ PI0.5 使用

简介：Adam 的改进版本，修正了权重衰减的实现。

关键改进：

• 将权重衰减从梯度中分离
• 更正确的 L2 正则化实现
• 通常比 Adam 效果更好

公式：

m_t = β₁ × m_{t-1} + (1 - β₁) × g_t v_t = β₂ × v_{t-1} + (1 - β₂) × g_t² m̂_t = m_t / (1 - β₁^t) v̂_t = v_t / (1 - β₂^t) θ_t = θ_{t-1} - lr × [m̂_t / (√v̂_t + ε) + weight_decay × θ_{t-1}]

特点：

• ✅ 修正了 Adam 的权重衰减问题
• ✅ 更好的泛化性能
• ✅ 适合 Transformer 等大模型

论文：

• Decoupled Weight Decay Regularization
  • 链接：https://arxiv.org/abs/1711.05101
  • 作者：Ilya Loshchilov, Frank Hutter
  • 年份：2017
  • 会议：ICLR 2019

使用示例：

optimizer=torch.optim.AdamW(model.parameters(),lr=2.5e-5,betas=(0.9,0.95),weight_decay=0.01)

4.RMSprop(Root Mean Square Propagation)

简介：自适应学习率优化器，使用梯度平方的移动平均。

公式：

v_t = α × v_{t-1} + (1 - α) × g_t² θ_t = θ_{t-1} - lr × g_t / (√v_t + ε)

特点：

• ✅ 自适应学习率
• ✅ 适合非平稳目标
• ✅ RNN 训练效果好

论文：

• Neural Networks for Machine Learning Lecture 6
  • 链接：https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf
  • 作者：Geoffrey Hinton
  • 年份：2012

使用示例：

optimizer=torch.optim.RMSprop(model.parameters(),lr=0.01,alpha=0.99)

5.Adagrad(Adaptive Gradient)

简介：自适应学习率优化器，累积历史梯度平方。

公式：

G_t = G_{t-1} + g_t² θ_t = θ_{t-1} - lr × g_t / (√G_t + ε)

特点：

• ✅ 自动降低学习率
• ⚠️ 学习率可能过小
• ⚠️ 适合稀疏梯度

论文：

• Adaptive Subgradient Methods for Online Learning and Stochastic Optimization
  • 链接：https://jmlr.org/papers/v12/duchi11a.html
  • 作者：John Duchi, Elad Hazan, Yoram Singer
  • 年份：2011
  • 会议：JMLR

使用示例：

optimizer=torch.optim.Adagrad(model.parameters(),lr=0.01)

6.Adadelta

简介：Adagrad 的改进版本，解决学习率衰减过快的问题。

公式：

E[g²]_t = ρ × E[g²]_{t-1} + (1 - ρ) × g_t² Δθ_t = -√(E[Δθ²]_{t-1} + ε) / √(E[g²]_t + ε) × g_t E[Δθ²]_t = ρ × E[Δθ²]_{t-1} + (1 - ρ) × Δθ_t² θ_t = θ_{t-1} + Δθ_t

特点：

• ✅ 不需要手动设置学习率
• ✅ 解决 Adagrad 学习率衰减问题

论文：

• ADADELTA: An Adaptive Learning Rate Method
  • 链接：https://arxiv.org/abs/1212.5701
  • 作者：Matthew D. Zeiler
  • 年份：2012

使用示例：

optimizer=torch.optim.Adadelta(model.parameters(),rho=0.9)

7.Adamax

简介：Adam 的变体，使用无穷范数代替 L2 范数。

公式：

m_t = β₁ × m_{t-1} + (1 - β₁) × g_t u_t = max(β₂ × u_{t-1}, |g_t|) θ_t = θ_{t-1} - lr × m_t / (u_t + ε)

特点：

• ✅ 在某些情况下比 Adam 更稳定
• ✅ 适合稀疏梯度

论文：

• Adam: A Method for Stochastic Optimization（与 Adam 同一篇）
  • 链接：https://arxiv.org/abs/1412.6980
  • 作者：Diederik P. Kingma, Jimmy Ba
  • 年份：2014

使用示例：

optimizer=torch.optim.Adamax(model.parameters(),lr=0.002,betas=(0.9,0.999))

8.RAdam(Rectified Adam)

简介：修正 Adam 的方差问题，在训练初期更稳定。

特点：

• ✅ 修正 Adam 的方差问题
• ✅ 训练初期更稳定
• ✅ 自适应切换到 SGD

论文：

• On the Variance of the Adaptive Learning Rate and Beyond
  • 链接：https://arxiv.org/abs/1908.03265
  • 作者：Liyuan Liu, et al.
  • 年份：2019
  • 会议：ICLR 2020

注意：PyTorch 原生不支持，需要第三方库。

9.LBFGS(Limited-memory BFGS)

简介：拟牛顿法，使用二阶导数信息。

特点：

• ✅ 收敛速度快（接近二阶方法）
• ⚠️ 内存占用大
• ⚠️ 不适合大规模模型

论文：

• Updating Quasi-Newton Matrices with Limited Storage
  • 链接：https://link.springer.com/article/10.1007/BF01589116
  • 作者：Jorge Nocedal
  • 年份：1980

使用示例：

optimizer=torch.optim.LBFGS(model.parameters(),lr=1,max_iter=20)

优化器对比表

在 LeRobot 中的使用

PI0.5 配置

文件：policies/pi05/configuration_pi05.py

optimizer_lr:float=2.5e-5optimizer_betas:tuple[float,float]=(0.9,0.95)optimizer_eps:float=1e-8optimizer_weight_decay:float=0.01

实际使用：

optimizer=torch.optim.AdamW(params,lr=2.5e-5,betas=(0.9,0.95),eps=1e-8,weight_decay=0.01)

选择建议

推荐使用

1. AdamW⭐⭐⭐⭐⭐

   • 大多数深度学习任务
   • Transformer 模型
   • 大模型微调

2. Adam⭐⭐⭐⭐

   • 通用深度学习
   • 快速原型开发

3. SGD + Momentum⭐⭐⭐

   • 凸优化问题
   • 需要稳定训练时

特殊场景

• RNN/LSTM：RMSprop
• 稀疏梯度：Adagrad, Adamax
• 小规模模型：LBFGS

关键论文总结

参考资料

• PyTorch 文档：https://pytorch.org/docs/stable/optim.html
• 优化器可视化：https://ruder.io/optimizing-gradient-descent/
• Adam 论文：https://arxiv.org/abs/1412.6980
• AdamW 论文：https://arxiv.org/abs/1711.05101

总结

最推荐：AdamW- 修正了 Adam 的权重衰减问题，效果更好

PI0.5 使用：AdamW- 配置为lr=2.5e-5, betas=(0.9, 0.95), weight_decay=0.01