mmdetection实战：从零开始训练自定义数据集（附常见报错解决方案）

mmdetection实战：从零构建高效目标检测流水线的避坑指南

当你第一次打开mmdetection的官方文档时，可能会被其丰富的模型库和配置选项所震撼。作为OpenMMLab旗下最成熟的目标检测框架，mmdetection确实为研究者提供了极大的便利——但这份便利往往伴随着陡峭的学习曲线。本文将带你跨越从"能跑通demo"到"真正掌握自定义训练"的鸿沟。

1. 数据准备：超越标准格式的实战技巧

在目标检测项目中，数据准备往往消耗60%以上的时间。虽然mmdetection官方推荐COCO格式，但真实场景中的数据往往存在各种"不完美"。

1.1 非标准数据的转换策略

假设你手头有一批来自工业质检的图片，标注信息存储在Excel表格中。使用以下Python脚本可以快速转换为COCO格式：

import json from collections import defaultdict import pandas as pd def excel_to_coco(excel_path, image_dir): df = pd.read_excel(excel_path) images = [] annotations = [] categories = [{"id": 1, "name": "defect"}] image_id_map = defaultdict(int) for idx, row in df.iterrows(): if row["filename"] not in image_id_map: image_id_map[row["filename"]] = len(image_id_map) + 1 images.append({ "id": image_id_map[row["filename"]], "file_name": row["filename"], "width": 1024, "height": 1024 }) annotations.append({ "id": len(annotations) + 1, "image_id": image_id_map[row["filename"]], "category_id": 1, "bbox": [row["x"], row["y"], row["w"], row["h"]], "area": row["w"] * row["h"], "iscrowd": 0 }) return { "images": images, "annotations": annotations, "categories": categories }

注意：工业场景中常见的标注偏移问题可以通过添加5%的随机扰动来增强模型鲁棒性

1.2 小数据集的增强方案

当样本量不足1000张时，建议采用以下组合增强策略：

在mmdetection配置文件中，数据增强这样配置：

train_pipeline = [ dict(type='LoadImageFromFile'), dict(type='LoadAnnotations', with_bbox=True), dict(type='RandomFlip', flip_ratio=0.5), dict(type='AutoAugment', policies=[ [dict(type='RandomRotate', level=5, prob=0.5)], [dict(type='BrightnessTransform', level=3)] ]), dict(type='Normalize', **img_norm_cfg), dict(type='Pad', size_divisor=32), dict(type='DefaultFormatBundle'), dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']), ]

2. 配置陷阱：那些官方文档没明说的参数细节

2.1 学习率设置的黄金法则

新手最容易踩的坑就是直接使用默认学习率。实际上，mmdetection的基准学习率（base_lr）是针对8卡GPU设置的，单卡时需要线性缩放：

# 计算适合当前配置的学习率 def calculate_lr(gpu_num, samples_per_gpu, base_lr=0.02): total_batch = gpu_num * samples_per_gpu return base_lr * total_batch / 16 # 示例：2卡训练，每卡处理4张图片 optimal_lr = calculate_lr(2, 4) # 输出0.01

但更科学的做法是使用自动学习率查找器（LR Finder），以下是实现代码片段：

from torch_lr_finder import LRFinder def find_lr(model, optimizer, dataloader): lr_finder = LRFinder(model, optimizer) lr_finder.range_test(dataloader, end_lr=10, num_iter=100) suggested_lr = lr_finder.suggestion() lr_finder.reset() return suggested_lr

2.2 类别数不一致的终极解决方案

修改类别数后仍然报错num_classes mismatch？这是因为mmdetection的安装包可能缓存了旧版本。彻底解决方法如下：

1. 首先确认修改了以下文件：

   • mmdet/datasets/coco.py中的CLASSES
   • mmdet/core/evaluation/class_names.py中的coco_classes

2. 然后执行强制重装：

pip uninstall mmdet -y python setup.py clean --all python setup.py develop

3. 最后检查环境中的实际路径：

python -c "import mmdet; print(mmdet.__file__)"

3. 训练监控：超越TensorBoard的进阶技巧

3.1 自定义指标监控

mmdetection默认的日志只包含mAP等基础指标。要监控每个类别的精确率/召回率，可添加自定义hook：

from mmcv.runner import HOOKS, Hook @HOOKS.register_module() class ClassWiseMetricsHook(Hook): def after_val_epoch(self, runner): # 获取验证结果 results = runner.log_buffer.output['eval_results'] # 解析每个类别的指标 for i, class_name in enumerate(dataset.CLASSES): runner.log_buffer.output[f'val/precision_{class_name}'] = results[i]['precision'] runner.log_buffer.output[f'val/recall_{class_name}'] = results[i]['recall']

在配置中添加：

custom_hooks = [ dict(type='ClassWiseMetricsHook'), ... ]

3.2 内存泄漏检测

遇到训练时内存持续增长？使用以下方法定位问题：

# 安装调试工具 pip install memory_profiler # 在训练命令前添加 mprof run --include-children python tools/train.py ...

生成内存使用曲线后，重点关注：

• 数据加载环节的内存峰值
• 验证阶段的内存回收情况
• 模型本身的参数内存占用

4. 生产环境部署：从训练到上线的完整链路

4.1 模型轻量化方案

对于工业级部署，建议采用以下优化策略组合：

1. 知识蒸馏：

# 在配置中添加蒸馏配置 distiller = dict( type='DetectionDistiller', teacher_cfg='configs/faster_rcnn/faster_rcnn_r101_fpn_2x_coco.py', student_cfg='configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py', distill_cfg=[dict( student_module='neck.fpn_convs.3.conv', teacher_module='neck.fpn_convs.3.conv', losses=[dict(type='FeatureLoss', name='feat_loss', weight=0.5)] )] )

2. 量化部署：

# 转换为ONNX格式 python tools/deployment/pytorch2onnx.py \ configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py \ checkpoints/faster_rcnn_r50_fpn_1x_coco.pth \ --output-file model.onnx # 进行INT8量化 python tools/deployment/quantize.py \ --model model.onnx \ --output model_quant.onnx \ --calib-dataset val2017

4.2 高性能推理优化

使用TensorRT加速时，注意这些关键参数：

trt_cfg = dict( fp16_mode=True, # 开启半精度 max_workspace_size=1 << 30, # 1GB显存 input_shapes=dict( input=dict( min_shape=[1, 3, 320, 320], opt_shape=[1, 3, 800, 1333], max_shape=[1, 3, 1344, 1344] ) ), calibration=dict( type='EntropyCalibrator', dataset='val2017', num_samples=100 ) )

实际项目中，我们通过这种优化将Faster R-CNN的推理速度从45ms降至12ms，同时保持98%的原始精度。