深度学习优化算法详解：从 SGD 到 AdamW
深度学习优化算法详解：从 SGD 到 AdamW
1. 背景与动机
优化算法是深度学习训练的核心，选择合适的优化器直接影响模型的收敛速度和最终性能。本文深入分析主流优化算法的原理和适用场景。
2. 梯度下降家族
2.1 SGD
import torch import torch.nn as nn optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)2.2 Adam
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999))2.3 AdamW
optimizer = torch.optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01)3. 学习率调度
from torch.optim.lr_scheduler import * # 阶梯衰减 scheduler = StepLR(optimizer, step_size=30, gamma=0.1) # 余弦退火 scheduler = CosineAnnealingLR(optimizer, T_max=100) # 预热 + 余弦退火 scheduler = CosineAnnealingWarmRestarts(optimizer, T_0=10, T_mult=2)4. 自适应学习率算法对比
| 算法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| SGD + Momentum | 泛化好 | 需要调参 | 计算机视觉 |
| Adam | 收敛快 | 泛化一般 | NLP、语音 |
| AdamW | 解耦权重衰减 | 计算量大 | Transformer |
| RMSprop | 适合RNN | 需要调整学习率 | RNN训练 |
5. 实战技巧
5.1 学习率预热
class WarmupScheduler: def __init__(self, optimizer, warmup_steps, base_lr): self.optimizer = optimizer self.warmup_steps = warmup_steps self.base_lr = base_lr self.step_num = 0 def step(self): self.step_num += 1 if self.step_num <= self.warmup_steps: lr = self.base_lr * (self.step_num / self.warmup_steps) for param_group in self.optimizer.param_groups: param_group['lr'] = lr5.2 梯度裁剪
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)6. 结论
优化算法的选择应基于任务类型、模型架构和数据规模。现代深度学习推荐使用 AdamW 配合适当的学习率调度策略，同时注意权重衰减的设置。