YOLOv5模型剪枝实战：从稀疏训练到8倍通道剪枝，我的完整踩坑笔记

YOLOv5模型剪枝实战：从稀疏训练到8倍通道剪枝的完整技术手册

当你在Jetson Nano上部署YOLOv5时，是否遇到过模型推理速度慢到令人崩溃的情况？上周我尝试将一个检测准确率92%的YOLOv5s模型部署到边缘设备时，发现帧率只有可怜的3FPS——这完全无法满足实时性要求。经过反复实验，最终通过8倍通道剪枝将模型体积压缩了75%，推理速度提升近3倍，而精度仅下降1.2%。本文将分享这个完整的优化过程，特别是那些官方文档没有提及的实战细节。

1. 模型剪枝前的准备工作

在开始剪枝之前，我们需要建立一个可靠的baseline。使用官方yolov5s.pt预训练权重在自定义数据集Dogs_and_People上进行基础训练时，有几个关键参数需要特别注意：

python train.py --img 640 --batch 32 --epochs 200 \ --weights yolov5s.pt \ --data data/peranddog.yaml \ --cfg models/yolov5s.yaml \ --name baseline_exp

--img-size参数直接影响最终模型的输入分辨率，而边缘设备通常对640x640这样中等分辨率的处理效率更高。在RTX 3090上完成200个epoch的训练后，模型在验证集上达到了91.8%的mAP@0.5，这将成为我们后续剪枝的基准参照。

必须检查的三个训练指标：

• 验证集mAP曲线是否收敛
• 训练损失是否稳定下降
• GPU利用率是否保持在80%以上

提示：训练完成后务必保存好best.pt和last.pt两个权重文件，后续稀疏化训练将基于best.pt进行

2. 稀疏化训练的关键技巧

稀疏化训练是通道剪枝的前置步骤，通过在损失函数中添加L1正则项，让模型自动学习哪些通道是冗余的。执行以下命令启动稀疏训练：

python train_sparsity.py --img 640 --batch 32 --epochs 100 \ --data data/peranddog.yaml \ --cfg models/yolov5s.yaml \ --weights runs/train/baseline_exp/weights/best.pt \ --name sparsity_exp \ -sr --scale 0.001 --prune 0

其中*-sr表示启用稀疏正则化，--scale控制正则化强度（建议0.001-0.01），--prune 0*表示采用全局稀疏策略。在训练过程中，我特别监控了这些指标：

当遇到稀疏度增长停滞时，可以尝试分段训练策略：先用较大scale(0.01)训练50个epoch快速稀疏化，再用较小scale(0.001)微调50个epoch恢复精度。

3. 三种通道剪枝策略深度对比

完成稀疏训练后，我们获得了包含通道重要性信息的sparsity.pt权重文件。接下来将测试三种不同的剪枝策略：

3.1 保守剪枝策略

python prune_yolov5s.py --cfg cfg/yolov5s_v6.cfg \ --data data/peranddog.data \ --weights weights/sparsity.pt \ --percent 0.8

这种策略会避开所有shortcut连接的卷积层，确保特征图维度匹配。虽然安全，但压缩率较低（约30%）。适合对精度要求极高的场景。

3.2 激进剪枝策略

python shortcut_prune_yolov5s.py --cfg cfg/yolov5s_v6.cfg \ --data data/peranddog.data \ --weights weights/sparsity.pt \ --percent 0.3

该策略会对shortcut分支也进行剪枝，能获得50-60%的压缩率，但需要更谨慎的微调。我在实验中发现需要至少20个epoch的微调才能恢复精度。

3.3 智能合并剪枝策略

python slim_prune_yolov5s.py --cfg cfg/yolov5s_v6.cfg \ --data data/peranddog.data \ --weights weights/sparsity.pt \ --global_percent 0.8 \ --layer_keep 0.01

这是我最推荐的方法，它会：

1. 计算全局重要性阈值
2. 对shortcut组内的层进行mask合并
3. 确保每层至少保留1%的通道

4. 8倍通道剪枝的硬件优化秘籍

在Jetson Nano等边缘设备上，当通道数是8的倍数时，Tensor Core的计算效率最高。以下是专门优化的8倍剪枝命令：

python slim_prune_yolov5s_8x.py --cfg cfg/yolov5s_v6.cfg \ --data data/peranddog.data \ --weights weights/sparsity.pt \ --global_percent 0.5 \ --layer_keep 0.01 \ --img_size 640

实施要点：

• 设置--global_percent控制整体剪枝比例
• --layer_keep确保每层保留至少1%通道
• 剪枝后检查每层通道数是否为8的倍数

实测表明，8倍对齐的模型在Jetson Nano上推理速度比非对齐版本快1.8倍，而精度损失可以控制在2%以内。

5. 剪枝后的模型微调艺术

剪枝后的模型就像刚做完手术的病人，需要精心调养（微调）才能恢复元气。基础微调命令如下：

python prune_finetune.py --img 640 --batch 32 --epochs 10 \ --data data/peranddog.yaml \ --cfg ./cfg/prune_0.5_keep_0.01_8x_yolov5s_v6.cfg \ --weights ./weights/prune_0.5_keep_0.01_8x_sparsity.pt \ --name s_dog_finetune

当常规微调效果不佳时，可以尝试知识蒸馏技术，使用原始大模型作为教师模型：

python prune_finetune.py --img 640 --batch 32 --epochs 10 \ --data data/peranddog.yaml \ --cfg ./cfg/prune_0.5_keep_0.01_8x_yolov5s_v6.cfg \ --weights ./weights/prune_0.5_keep_0.01_8x_sparsity.pt \ --name s_dog_finetune_distill \ --distill --t_weight yolov5s.pt

微调阶段学习率设置建议：

6. 常见错误与解决方案实录

在实际操作中，最常遇到的错误是AttributeError: 'collections.OrderedDict' object has no attribute 'float'，这通常由以下原因导致：

1. 类别数不匹配：

   • 修改cfg文件中所有yolo层的classes参数
   • 对应调整filters=(classes+5)*3
   • 需要从文件末尾向上修改三个yolo层

2. 权重文件路径问题：

   • 避免过深的目录层级
   • 建议将权重文件放在项目根目录下

3. PyTorch版本冲突：

   • 推荐使用1.8.0以上版本
   • 检查torch和torchvision的兼容性

另一个常见问题是剪枝后模型输出维度异常，这时需要：

• 检查cfg文件中的通道数是否与权重匹配
• 验证各卷积层的输入输出维度是否连贯
• 使用Netron工具可视化模型结构

7. 边缘设备部署实战技巧

在Jetson Nano上部署剪枝后的模型时，这些技巧能进一步提升性能：

# 启用最大性能模式 sudo nvpmodel -m 0 sudo jetson_clocks # 使用TensorRT加速 python export.py --weights pruned_model.pt --include onnx trtexec --onnx=pruned_model.onnx --saveEngine=pruned_model.trt

部署优化前后性能对比：

记得在部署后持续监控模型在实际环境中的表现，特别是当光照条件或目标尺度与训练数据有差异时，可能需要针对性地进行数据增强和再训练。