ResNet实战：如何用StepLR调整学习率提升CIFAR-100准确率（附完整代码）
ResNet实战：如何用StepLR调整学习率提升CIFAR-100准确率（附完整代码）
在深度学习模型的训练过程中，学习率的选择和调整策略往往决定了模型能否收敛到最优解。特别是对于像ResNet这样的深度神经网络，合理的学习率调度可以显著提升模型在CIFAR-100等复杂数据集上的表现。本文将深入探讨如何利用PyTorch中的StepLR学习率调度器来优化ResNet模型的训练过程，并提供可直接运行的代码示例。
1. 理解学习率调度的重要性
学习率是深度学习中最关键的超参数之一，它控制着模型参数在每次迭代中更新的步长。一个过大的学习率可能导致模型无法收敛，而过小的学习率则会使训练过程变得极其缓慢。更复杂的是，在训练的不同阶段，模型对学习率的需求也会发生变化。
为什么需要动态调整学习率？
- 训练初期：较大的学习率有助于快速逃离初始点附近的平坦区域
- 训练中期：适当减小学习率可以更精确地接近最优解
- 训练后期：很小的学习率有助于在最优解附近精细调整
对于ResNet这样的深度模型，学习率调度尤为重要。ResNet虽然通过残差连接缓解了梯度消失问题，但不同层的参数仍然需要不同的更新幅度。StepLR提供了一种简单而有效的方式来管理这种复杂性。
2. StepLR调度器的工作原理
StepLR是PyTorch中最基础的学习率调度器之一，它按照固定的步长周期性地调整学习率。其数学表达式为：
new_lr = initial_lr * gamma^floor(epoch / step_size)关键参数解析：
| 参数 | 描述 | 典型值 |
|---|---|---|
| step_size | 学习率调整的间隔周期（epoch数） | 30-60 |
| gamma | 每次调整时的学习率衰减系数 | 0.1-0.5 |
| last_epoch | 恢复训练时的起始epoch | -1（默认） |
提示：gamma值的选择需要谨慎，过大会导致学习率下降太快，过小则可能效果不明显。
3. 完整代码实现
下面是一个完整的PyTorch实现，展示如何在CIFAR-100数据集上使用StepLR优化ResNet-34的训练：
import torch import torchvision import torch.nn as nn import torch.optim as optim from torch.optim.lr_scheduler import StepLR from torchvision import transforms, datasets # 数据预处理 transform = transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomCrop(32, padding=4), transforms.ToTensor(), transforms.Normalize((0.5071, 0.4867, 0.4408), (0.2675, 0.2565, 0.2761)) ]) # 加载CIFAR-100数据集 train_set = datasets.CIFAR100(root='./data', train=True, download=True, transform=transform) test_set = datasets.CIFAR100(root='./data', train=False, download=True, transform=transform) train_loader = torch.utils.data.DataLoader(train_set, batch_size=128, shuffle=True) test_loader = torch.utils.data.DataLoader(test_set, batch_size=100, shuffle=False) # 初始化ResNet-34模型 model = torchvision.models.resnet34(pretrained=False) model.fc = nn.Linear(512, 100) # 适配CIFAR-100的100个类别 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = model.to(device) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) # 创建StepLR调度器 scheduler = StepLR(optimizer, step_size=60, gamma=0.2) # 训练函数 def train(epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() # 测试函数 def test(): model.eval() correct = 0 with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) pred = output.argmax(dim=1, keepdim=True) correct += pred.eq(target.view_as(pred)).sum().item() accuracy = 100. * correct / len(test_loader.dataset) return accuracy # 训练循环 for epoch in range(1, 181): train(epoch) acc = test() current_lr = optimizer.param_groups[0]['lr'] print(f'Epoch: {epoch}, LR: {current_lr:.6f}, Test Acc: {acc:.2f}%') scheduler.step()4. 参数调优与效果对比
为了验证StepLR的效果，我们在CIFAR-100上进行了多组对比实验：
实验设置：
- 基础学习率：0.1
- 训练epoch数：180
- 批量大小：128
- 优化器：SGD with momentum=0.9
- 权重衰减：5e-4
不同配置下的测试准确率对比：
| 配置 | 最高测试准确率 | 最终测试准确率 |
|---|---|---|
| 固定学习率0.1 | 58.23% | 56.41% |
| StepLR(step=30, gamma=0.1) | 63.57% | 62.89% |
| StepLR(step=60, gamma=0.2) | 65.12% | 64.76% |
| StepLR(step=90, gamma=0.5) | 61.34% | 60.92% |
从实验结果可以看出：
- 使用StepLR明显优于固定学习率
- step_size=60, gamma=0.2的组合效果最佳
- 过于频繁的调整(step=30)或过大的衰减(gamma=0.5)都会降低模型性能
5. 实际应用中的注意事项
学习率预热技巧：对于深度ResNet，训练初期可以采用学习率预热策略：
# 学习率预热实现 warmup_epochs = 5 def adjust_learning_rate(optimizer, epoch): if epoch < warmup_epochs: lr = 0.1 * (epoch + 1) / warmup_epochs else: lr = 0.1 * (0.2 ** (epoch // 60)) for param_group in optimizer.param_groups: param_group['lr'] = lr其他实用建议：
- 监控训练损失和验证准确率的曲线，确保学习率调整时机合理
- 对于更深的ResNet(如ResNet-101)，可以考虑更小的初始学习率
- 结合模型检查点保存，可以在性能下降时回退到之前的模型状态
- 不同层可以使用不同的学习率（如分类层使用更高的学习率）
6. 进阶：结合其他调度策略
虽然StepLR简单有效，但在某些场景下可以尝试更复杂的调度策略：
1. MultiStepLR允许在多个不同的epoch点调整学习率：
scheduler = MultiStepLR(optimizer, milestones=[60, 120, 160], gamma=0.2)2. 余弦退火提供更平滑的学习率变化：
scheduler = CosineAnnealingLR(optimizer, T_max=180)3. 循环学习率在最小和最大学习率之间循环变化：
scheduler = CyclicLR(optimizer, base_lr=0.001, max_lr=0.1, step_size_up=2000)在实际项目中，我发现对于CIFAR-100这样的数据集，StepLR已经能提供很好的效果，且调参相对简单。而对于更大的数据集如ImageNet，可能需要更精细的学习率调度策略。