084、自动驾驶行人车辆检测：多类别、多尺度、实时性的三角平衡方案
084、自动驾驶行人车辆检测：多类别、多尺度、实时性的三角平衡方案
昨晚调试到凌晨两点，盯着屏幕上那个被误检成“卡车”的电动三轮车，我差点把咖啡泼到键盘上。这个场景太典型了——自动驾驶感知系统里，行人、自行车、摩托车、小轿车、SUV、卡车、公交车，七大类目标挤在一个画面里，尺度从几十像素到上千像素不等，还要在嵌入式设备上跑到30FPS以上。三个维度同时压上来，任何一个短板都会让整个系统崩盘。
先说说多类别这个坑。很多人以为类别多了就是加几个分类头的事，实际跑起来才发现，类别间的混淆才是噩梦。行人被误检成骑行者，摩托车被当成自行车，这些错误在自动驾驶里是致命的。我踩过最深的坑是共享分类特征——早期图省事，让所有类别共享同一个backbone的深层特征，结果行人和骑行者因为姿态相似，特征空间严重重叠。后来被迫在每个检测头前面加了一个类别感知的注意力模块，强制让网络区分“有没有轮子”和“人体姿态”这两个关键差异。别这样写：直接堆类别数，不分析混淆矩阵，那是在给自己埋雷。
多尺度问题更让人头疼。自动驾驶场景里，远处的行人可能只有20×40像素，近处的卡车能占满整个画面。YOLOv8的FPN结构虽然能缓解，但实际部署时你会发现，小目标的召回率永远是大目标的零头。我试过在neck部分插入BiFPN的加权特征融合，效果有提升但计算量涨了15%。后来换了个思路——在数据增强阶段做文章，把原图随机裁剪成不同分辨率再拼接，相当于强制网络学习尺度不变性。这个trick让mAP涨了2.3个点，而且不增加推理耗时。记住一个原则：多尺度问题，优先从数据层面解决，别一上来就改网络结构。
实时性这个紧箍咒，在自动驾驶里比任何学术指标都现实。Jet