YOLOV5训练中断恢复与轮数扩展的实战技巧
1. YOLOV5训练中断恢复的完整指南
训练深度学习模型时最让人头疼的就是意外中断。想象一下，你花了三天三夜训练YOLOV5模型，眼看着就要完成200轮训练，结果突然断电或者程序崩溃。这种时候千万别急着从头开始，YOLOV5提供了非常方便的恢复机制。
恢复训练的核心命令其实很简单：
python train.py --resume runs/exp2/weights/last.pt这个命令的神奇之处在于，它会自动读取上次训练的所有参数，包括batch size、学习率等，完全不需要你重新设置。我实测过多次，恢复后的训练曲线和直接完整训练的效果几乎一致。
关键细节：
- last.pt文件不仅包含模型权重，还保存了优化器状态和训练进度
- 如果不指定路径，程序会自动查找最近修改的last.pt文件
- 所有训练参数都保存在runs/exp2/opt.yaml中，恢复时会自动加载
我在实际项目中遇到过几次中断情况，发现一个常见误区：很多人会手动重新设置epochs参数，比如：
python train.py --resume runs/exp2/weights/last.pt --epochs 200这样做其实完全无效！因为恢复训练时epochs参数会被自动忽略，程序会按照opt.yaml中保存的原始epochs设置继续执行。
2. 如何安全地增加训练轮数
有时候我们会发现模型还没完全收敛，需要增加训练轮数。这种情况比简单恢复要复杂一些，需要修改几个关键配置。
完整操作流程：
- 首先修改opt.yaml文件：
epochs: 300 # 原200轮，现增加到300轮- 然后修改torch_utils.py中的起始轮数：
start_epoch = 200 # 从第201轮开始继续训练- 最后执行恢复命令：
python train.py --resume runs/exp2/weights/last.pt这里有个容易踩坑的地方：start_epoch的计数是从0开始的。也就是说，如果你已经完成了200轮训练，想从第201轮开始，start_epoch应该设置为200。
我在一个工业质检项目中就犯过这个错误，把start_epoch设成了201，结果发现训练loss曲线出现异常波动。后来检查才发现是轮数设置错了，导致模型跳过了部分学习阶段。
3. 配置文件与代码修改的注意事项
修改配置文件时，有几个细节需要特别注意：
- opt.yaml的完整路径：通常位于runs/exp*/opt.yaml，但要注意exp后面的数字可能不同
- torch_utils.py的位置：在yolov5/utils/目录下
- 修改后验证：建议用git diff检查修改内容，避免误操作
一个实用的技巧是使用以下命令快速定位文件：
find . -name "opt.yaml" # 查找配置文件 grep "start_epoch" -r . # 查找需要修改的代码位置对于团队协作项目，我建议把这些修改步骤写成脚本，比如：
#!/bin/bash # 自动修改训练轮数 sed -i 's/epochs: 200/epochs: 300/' runs/exp*/opt.yaml sed -i 's/start_epoch = 0/start_epoch = 200/' yolov5/utils/torch_utils.py4. 训练恢复后的性能监控
恢复训练后，特别需要关注模型性能的变化。根据我的经验，前几轮的指标可能会有所波动，但很快就会稳定下来。
监控要点：
- 前5轮的mAP变化
- 验证集loss的下降曲线
- GPU显存使用情况
建议使用以下命令实时监控：
watch -n 1 nvidia-smi # 监控GPU状态 tail -f runs/exp*/results.txt # 查看训练日志如果发现异常，比如：
- loss突然飙升
- mAP持续下降
- 显存占用异常
这时候应该立即停止训练，检查数据加载和模型配置。常见的问题包括数据增强参数不一致、学习率设置不当等。
5. 高级技巧：分段训练策略
对于超大规模数据集，我推荐使用分段训练策略：
- 先训练100轮基础特征
- 再训练50轮细节特征
- 最后50轮微调
实现方法：
# 第一阶段 python train.py --epochs 100 --weights yolov5s.pt # 第二阶段 sed -i 's/epochs: 100/epochs: 150/' runs/exp*/opt.yaml python train.py --resume runs/exp*/weights/last.pt --freeze 10 # 第三阶段 sed -i 's/epochs: 150/epochs: 200/' runs/exp*/opt.yaml python train.py --resume runs/exp*/weights/last.pt --lr 0.0001这种策略在我的多个项目中都取得了不错的效果，特别是对于小目标检测任务，mAP能提升3-5个百分点。
6. 常见问题排查
在实际应用中，可能会遇到各种奇怪的问题。这里分享几个典型案例：
问题1：恢复训练后loss异常高解决方案： 检查torch_utils.py中的start_epoch设置是否正确 确认opt.yaml中的学习率是否与之前一致
问题2：找不到last.pt文件解决方案： 使用find命令全局搜索：
find . -name "last.pt"可能是训练中断太早，尚未生成checkpoint
问题3：显存不足解决方案： 尝试减小batch size：
python train.py --resume runs/exp*/weights/last.pt --batch-size 167. 自动化脚本推荐
为了简化操作流程，我开发了几个实用脚本：
- 自动恢复脚本：
#!/bin/bash # auto_resume.sh LAST_PT=$(find . -name "last.pt" -printf "%T+ %p\n" | sort | tail -1 | awk '{print $2}') python train.py --resume $LAST_PT- 轮数修改脚本：
#!/bin/bash # extend_epochs.sh EXP_DIR=$(ls -td runs/exp* | head -1) OLD_EPOCHS=$(grep "epochs:" $EXP_DIR/opt.yaml | awk '{print $2}') NEW_EPOCHS=$(($OLD_EPOCHS + 100)) sed -i "s/epochs: $OLD_EPOCHS/epochs: $NEW_EPOCHS/" $EXP_DIR/opt.yaml sed -i "s/start_epoch = 0/start_epoch = $OLD_EPOCHS/" yolov5/utils/torch_utils.py这些脚本在我的GitHub仓库都有开源，可以直接下载使用。