别再只会用Adam了！PyTorch优化器保姆级选择指南：从SGD到Adam的实战避坑

PyTorch优化器深度实战指南：从基础到高阶的智能选择策略

深度学习模型的训练效果很大程度上取决于优化算法的选择。面对众多优化器选项，许多开发者往往陷入选择困难——是坚持经典的SGD，还是拥抱自适应优化器如Adam？本文将带你深入理解不同优化器的特性，并提供针对不同场景的实用选择建议。

1. 优化器基础与核心原理

优化器在深度学习中的作用类似于导航系统，它决定了模型参数如何沿着损失函数的梯度方向进行调整。理解优化器的工作原理，是做出明智选择的第一步。

1.1 梯度下降的三种基本形式

所有优化器都源于梯度下降的基本思想，但根据计算梯度时使用的数据量不同，可分为三种形式：

# 批量梯度下降(BGD)伪代码 for epoch in range(epochs): grad = compute_gradient(entire_dataset) params -= learning_rate * grad # 随机梯度下降(SGD)伪代码 for epoch in range(epochs): for x, y in dataset: grad = compute_gradient(x, y) params -= learning_rate * grad # 小批量梯度下降(MBGD)伪代码 batch_size = 32 for epoch in range(epochs): for batch in create_batches(dataset, batch_size): grad = compute_gradient(batch) params -= learning_rate * grad

三种方法的对比：

实际应用中，MBGD是最常用的选择，因为它平衡了计算效率和收敛稳定性。batch size的选择通常为2的幂次方，以充分利用GPU的并行计算能力。

1.2 学习率的艺术

学习率是优化器最重要的超参数之一，它决定了参数更新的步长。不恰当的学习率会导致各种问题：

• 学习率过大：参数更新步伐太大，可能导致无法收敛或在最优解附近震荡
• 学习率过小：收敛速度慢，训练时间长，可能陷入局部最优

# 学习率对收敛的影响可视化示例 import matplotlib.pyplot as plt def quadratic_function(x): return x**2 def gradient(x): return 2*x x = 10.0 lr_list = [0.01, 0.1, 0.3, 0.9] trajectories = [] for lr in lr_list: x_traj = [x] for _ in range(20): x -= lr * gradient(x) x_traj.append(x) trajectories.append(x_traj) plt.figure(figsize=(10,6)) for i, traj in enumerate(trajectories): plt.plot(traj, label=f'LR={lr_list[i]}') plt.legend() plt.xlabel('Iteration') plt.ylabel('Parameter value') plt.title('Effect of Learning Rate on Convergence') plt.show()

2. 经典优化器详解与实战对比

2.1 带动量的SGD

传统SGD的一个主要问题是它在峡谷（一个方向的梯度比另一个方向陡得多）地形中表现不佳。动量法通过引入速度变量解决了这个问题：

# 带动量的SGD实现 def sgd_momentum(params, grads, velocities, lr=0.01, momentum=0.9): for param, grad, velocity in zip(params, grads, velocities): velocity[:] = momentum * velocity + lr * grad param -= velocity

动量法的优势：

• 在相关方向上加速收敛
• 减少震荡，更平稳地接近最优解
• 有助于跳出局部极小值

经验法则：对于视觉任务（如ResNet训练），动量值通常设为0.9；对于NLP任务（如Transformer），0.98可能更合适

2.2 AdaGrad与RMSProp

AdaGrad是为每个参数自适应调整学习率的早期尝试：

# AdaGrad实现 def adagrad(params, grads, squared_grads, lr=0.01, eps=1e-8): for param, grad, sq_grad in zip(params, grads, squared_grads): sq_grad[:] += grad ** 2 param -= lr * grad / (np.sqrt(sq_grad) + eps)

AdaGrad的问题在于平方梯度的累积会导致学习率过早减小。RMSProp通过引入衰减因子解决了这个问题：

# RMSProp实现 def rmsprop(params, grads, squared_grads, lr=0.001, rho=0.9, eps=1e-8): for param, grad, sq_grad in zip(params, grads, squared_grads): sq_grad[:] = rho * sq_grad + (1 - rho) * grad ** 2 param -= lr * grad / (np.sqrt(sq_grad) + eps)

2.3 Adam优化器

Adam结合了动量法和RMSProp的思想，成为当前最流行的优化器之一：

# Adam优化器实现 def adam(params, grads, m, v, t, lr=0.001, beta1=0.9, beta2=0.999, eps=1e-8): t += 1 for param, grad, m_i, v_i in zip(params, grads, m, v): m_i[:] = beta1 * m_i + (1 - beta1) * grad v_i[:] = beta2 * v_i + (1 - beta2) * grad ** 2 m_hat = m_i / (1 - beta1 ** t) v_hat = v_i / (1 - beta2 ** t) param -= lr * m_hat / (np.sqrt(v_hat) + eps)

Adam的优点：

• 自适应学习率
• 内置动量
• 对初始学习率选择不敏感
• 适用于大多数非凸优化问题

3. 优化器选择策略与场景适配

3.1 不同任务类型的优化器推荐

根据任务特点选择优化器可以显著提高训练效率和模型性能：

3.2 优化器性能对比实验

我们在CIFAR-10数据集上对比了不同优化器训练ResNet-18的表现：

注意：这些结果会因模型架构、超参数设置和具体任务而有所变化，建议在实际应用中运行自己的基准测试

3.3 优化器调参技巧

不同优化器需要关注不同的超参数：

SGD+动量：

• 学习率：通常0.01-0.1
• 动量：0.8-0.99
• 学习率衰减：每30个epoch乘以0.1

Adam/AdamW：

• 初始学习率：3e-5到3e-4
• β₁：通常保持0.9
• β₂：0.999适合大多数情况
• 权重衰减：1e-4到1e-2

# PyTorch中优化器初始化示例 from torch.optim import SGD, Adam, AdamW # 对于视觉任务 optimizer = SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) # 对于NLP任务 optimizer = AdamW(model.parameters(), lr=3e-5, betas=(0.9, 0.999), weight_decay=0.01) # 学习率调度器配合使用 from torch.optim.lr_scheduler import CosineAnnealingLR scheduler = CosineAnnealingLR(optimizer, T_max=200)

4. 高级技巧与常见问题解决方案

4.1 优化器组合策略

在某些场景下，组合使用不同优化器可以获得更好效果：

1. 预热+衰减策略：

   • 训练初期使用Adam快速收敛
   • 后期切换为SGD进行精细调优

2. 分层学习率：

   • 不同网络层使用不同优化器
   • 例如：底层用SGD，顶层用Adam

# 分层优化器设置示例 from itertools import chain base_params = [p for n, p in model.named_parameters() if 'base' in n] head_params = [p for n, p in model.named_parameters() if 'head' in n] optimizer = torch.optim.Adam([ {'params': base_params, 'lr': 1e-5}, {'params': head_params, 'lr': 1e-4} ])

4.2 常见问题诊断

问题1：训练初期损失不下降

• 可能原因：学习率太小
• 解决方案：尝试增加学习率或使用学习率预热

问题2：训练后期震荡

• 可能原因：学习率太大
• 解决方案：引入学习率衰减或切换为SGD

问题3：模型收敛到次优解

• 可能原因：优化器陷入局部极小值
• 解决方案：尝试增加动量或使用随机重启策略

4.3 新兴优化器探索

虽然Adam系列优化器占据主导地位，但一些新兴优化器也值得关注：

1. LAMB：特别适合大batch size训练
2. RAdam：提供更稳定的自适应学习率
3. NovoGrad：内存效率更高的自适应方法

# 使用新兴优化器示例 from torch_optimizer import RAdam, Lamb optimizer = RAdam(model.parameters(), lr=0.001) # 或 optimizer = Lamb(model.parameters(), lr=0.001)

优化器的选择是一门实践科学，没有放之四海而皆准的答案。在ImageNet上表现优异的配置可能在你的特定数据集上效果平平。关键是要理解每种优化器的特性，然后通过系统实验找到最适合你任务的组合。