MMsegmentation基于Epoch的训练策略详解与实战调优
1. 从Iteration到Epoch：训练模式的核心差异
在深度学习训练中，Iteration（迭代次数）和Epoch（训练轮次）是两个最基础但又最容易混淆的概念。简单来说，1个Epoch表示模型完整遍历一次训练集，而1个Iteration则是完成一次前向传播和反向传播的过程。比如你的训练集有1000张图片，batch_size设为10，那么1个Epoch就等于100个Iterations。
MMsegmentation默认采用Iteration训练模式，这在早期实验中很方便，因为可以快速验证模型效果。但实际项目中，我们更关注模型在完整数据集上的表现，这时候Epoch模式就更符合直觉。举个实际例子：当数据集类别不平衡时，用Epoch能确保每个类别的样本都被均衡地学习到，而Iteration模式下可能某些类别样本还没被模型"见过"训练就结束了。
2. 配置文件改造全流程
2.1 训练循环控制模块
要让MMsegmentation切换到Epoch模式，首先需要修改runner配置。原始配置中通常会看到IterBasedRunner，我们需要将其改为：
runner = dict(type='EpochBasedRunner', max_epochs=100)这个改动相当于告诉训练引擎："不要数迭代次数了，改为数Epoch次数，总共跑100轮"。配套的还需要修改train_cfg：
train_cfg = dict( type='EpochBasedTrainLoop', # 关键修改点 max_epochs=100, val_interval=10) # 每10个Epoch验证一次这里有个实战技巧：val_interval的设置需要权衡验证成本和模型监控需求。对于大数据集可以设大些（如20），小数据集可以设小些（如5）。
2.2 学习率调度器适配
原来的PolyLR调度器配置需要加上by_epoch=True参数：
param_scheduler = [ dict( type='PolyLR', eta_min=1e-4, power=0.9, begin=0, end=100, # 注意这里变成epoch数而非iter数 by_epoch=True) ]实测中发现一个常见坑点：begin和end的单位会随by_epoch自动切换。如果忘记修改这些数值，可能导致学习率调度异常。
2.3 数据采样器改造
这是最容易出问题的环节。默认的InfiniteSampler会让数据流永不停止，必须改为DefaultSampler：
train_dataloader = dict( sampler=dict(type='DefaultSampler', shuffle=True), # 关键修改 batch_size=2, num_workers=4, persistent_workers=True, dataset=dict(...))我遇到过的情况是：忘记改sampler导致训练永远停在第一个epoch，验证集也从不执行。这时候查看日志会发现loss曲线异常平滑，就是因为模型在不断重复学习相同的数据批次。
3. Hook系统的调整策略
3.1 检查点保存配置
在Epoch模式下，checkpoint的保存间隔应该以Epoch为单位：
default_hooks = dict( checkpoint=dict( type='CheckpointHook', by_epoch=True, # 关键参数 interval=10), # 每10个epoch保存一次 ...其他hook配置... )建议根据训练总epoch数来设置interval。比如训练100epoch时可以每10次保存一次，200epoch时可以每20次保存一次。
3.2 日志记录频率优化
LoggerHook的interval参数在Epoch模式下需要重新考量：
default_hooks = dict( logger=dict(type='LoggerHook', interval=50), # 每50次迭代记录一次 ... )这里有个细节：虽然切换到了Epoch模式，但interval的单位仍然是迭代次数。建议设置为一个epoch内迭代次数的1/5到1/10，比如每个epoch有1000次迭代，可以设interval=100。
4. 验证集执行的深度优化
4.1 验证频率的权衡
val_interval的设置直接影响模型评估和训练效率：
train_cfg = dict( type='EpochBasedTrainLoop', val_interval=10, # 验证频率 ...)在医疗影像分割项目中，我发现当验证集特别大时（如10万+样本），频繁验证会导致训练时间大幅延长。这时可以采用动态调整策略：前期设大interval快速迭代，后期再缩小interval精细调优。
4.2 验证指标的选择
MMsegmentation支持多种验证指标，mIoU是最常用的：
evaluation = dict( interval=1, # 配合val_interval使用 metric='mIoU', save_best='mIoU') # 自动保存最佳模型对于类别不平衡的数据集，建议增加Dice系数作为辅助指标。可以通过修改配置实现多指标监控：
evaluation = dict( metric=['mIoU', 'Dice'], metric_options={'average':'macro'})5. 实战中的性能调优技巧
5.1 学习率预热策略
Epoch模式下实现学习率预热的正确姿势：
param_scheduler = [ dict( type='LinearLR', start_factor=0.001, begin=0, end=5, # 预热5个epoch by_epoch=True), dict( type='PolyLR', eta_min=1e-5, power=0.9, begin=5, # 从第5个epoch开始 end=100, by_epoch=True) ]这个配置让学习率在前5个epoch从初始值的0.1%线性增长到100%，之后再执行多项式衰减。实测这种策略能显著提升模型收敛稳定性。
5.2 早停机制实现
虽然MMsegmentation没有内置早停，但可以通过Hook实现：
custom_hooks = [ dict( type='EarlyStoppingHook', monitor='mIoU', patience=10, rule='greater') ]这个自定义Hook会监控验证集mIoU，如果连续10个epoch没有提升就停止训练。patience参数需要根据具体任务调整，对于波动大的任务可以适当加大。
6. 典型问题排查指南
6.1 验证集不执行的常见原因
- 忘记修改sampler类型（必须用DefaultSampler）
- val_interval设置过大（建议先设为1测试）
- 验证集路径配置错误（检查data_prefix中的路径）
- 验证集batch_size过大导致显存不足（减小batch_size或使用梯度累积）
6.2 训练loss异常波动排查
遇到loss剧烈波动时，可以检查：
- 学习率是否过高（尝试降低1-2个数量级）
- 数据增强是否过于激进（如过大的随机裁剪）
- 数据标签是否存在错误（可视化检查样本）
- 梯度裁剪是否生效（设置clip_grad参数）
7. 进阶配置：混合训练策略
对于超大数据集，可以采用Epoch+Iteration的混合模式：
train_cfg = dict( type='FlexibleTrainLoop', max_epochs=50, max_iters=100000, val_interval=2000) # 按迭代次数验证这种模式适合需要同时控制训练时长和完整遍历数据集的场景。不过需要注意学习率调度器等配套模块也需要相应调整。