手部检测实战：基于YOLOv5s的模型轻量化与移动端部署指南

1. 为什么需要手部检测轻量化模型

在移动设备上运行目标检测模型时，我们常常面临算力和内存的限制。以手部检测为例，原始YOLOv5s模型在640×640分辨率下需要7.2M参数和16.5GFLOPs计算量，这对普通手机来说负担太重。我曾在项目中尝试直接部署完整版YOLOv5s，结果发现即便是高端手机，单帧处理时间也超过200ms，完全无法满足实时性要求。

轻量化模型的核心思路很简单：在保证检测精度的前提下，尽可能减少模型的计算负担。具体到YOLOv5s05系列，我们主要做了两个改动：一是将模型所有卷积层的通道数减半，二是降低输入图像分辨率。这种调整虽然简单，但效果立竿见影。实测下来，yolov5s05_320模型参数量降到1.7M，计算量仅1.1GFLOPs，在普通Android手机上就能跑到30ms以内的推理速度。

2. 数据集准备与处理技巧

优质的数据集是模型效果的基石。我们使用了三个公开手部数据集：Hand-voc1/2/3，总计6万+标注图像。这些数据有几个特点值得注意：首先，手部区域基本都是正方形bbox，这与通用目标检测中的长方形bbox不同；其次，场景覆盖了各种光照条件和遮挡情况，这对模型鲁棒性很有帮助。

处理数据时我踩过一个坑：直接用原始COCO格式的anchor会导致匹配率偏低。后来改用k-means对数据集重新聚类anchor，AP提升了约3%。具体操作很简单，使用项目中的kmeans_anchor/demo.py脚本即可。建议大家在训练前都跑一遍这个步骤，特别是当你的检测目标形状比较特殊时。

数据增强方面，我推荐保持YOLOv5默认的mosaic+mixup组合，这对小目标检测很有效。不过要注意调整翻转概率，因为左右手在有些应用中需要区分。如果你们的数据包含关键点标注，还可以尝试基于关键点的裁剪增强，这能显著提升困难样本的检测效果。

3. 模型轻量化实战细节

轻量化不是简单地对模型砍一刀，需要平衡性能和精度。我们的yolov5s05方案经历了多次迭代：

首先是通道减半策略。直接对所有卷积层通道减半会导致浅层特征提取不足，特别是对小手部的检测影响很大。后来我们保留backbone前两层的通道数，只对深层减半，这样在计算量基本不变的情况下，小目标检测AP提升了5%。

输入分辨率的选择也很有讲究。从640降到320时，大手的检测精度几乎不变，但小手AP会下降明显。如果应用场景中手部占画面比例较大，可以用320输入；如果需要检测远处的小手，建议保持416分辨率。这里有个经验公式：输入分辨率至少要比最小检测目标大6倍。

训练时有个小技巧：先用完整分辨率训练几个epoch，再切换到小分辨率微调。这样相比直接用小分辨率训练，最终AP能高2-3个百分点。因为大分辨率训练能让模型先学到更好的特征表示。

4. 移动端部署优化技巧

将PyTorch模型部署到Android端需要经过ONNX转换和TensorFlow Lite量化。这里最容易出问题的是算子兼容性，我总结了几点经验：

1. 导出ONNX时务必加上--dynamic参数，因为手机端输入尺寸可能变化。遇到过不少模型在训练时跑得好好的，到手机上就崩溃的情况，都是因为静态shape的问题。

2. 使用TensorFlow Lite的int8量化时，要准备约500张有代表性的校准图像。建议直接从训练集随机抽取，覆盖各种场景。量化后的模型大小能缩减到原来的1/4，速度还能提升20%。

3. 在Android端做前处理时，千万别用OpenCV的resize！我测试发现用TensorFlow Lite自带的ImageProcessor速度能快3倍，因为避免了额外的内存拷贝。

内存分配也是优化重点。好的做法是初始化时就分配好输入输出tensor的内存，不要在检测时反复申请释放。在C++层实现循环检测逻辑，通过JNI与Java交互，这样比纯Java实现效率高得多。

5. 性能对比与效果展示

经过上述优化，最终得到的轻量化模型在华为P30（麒麟980）上的表现如下：

实际效果测试发现，在室内正常光照下，两个轻量化版本的检测准确率与原始模型几乎相当。但在极端场景下（如强逆光或运动模糊），轻量化模型的鲁棒性会稍逊一筹。这也符合预期，毕竟模型容量减小了。

如果应用对实时性要求极高（如AR互动），可以选择320版本；如果更看重精度，建议用416版本。在我的多个落地项目中，这两个轻量化版本都能满足业务需求，相比原版带来的体验提升非常明显。