【RT-DETR实战】161、综合改进实验一：轻量化赛道（速度优先）

一、从一次深夜调试说起

上周三凌晨两点，产线测试机发来报警：新部署的RT-DETR模型在Jetson Orin Nano上跑出了87ms的推理延迟，离实时帧率差了一大截。

产线要求是30ms以内，否则流水线会堆积。我盯着终端里nvprof输出的kernel耗时，发现注意力模块的几个大矩阵乘把显存带宽吃满了——这模型在服务器上明明跑得好好的，一到边缘端就现原形。

轻量化从来不是简单换个backbone就能解决的。这次我们就从实际部署问题出发，聊聊RT-DETR在速度优先场景下的改造手术。

二、轻量化三板斧：砍得准，砍得狠

1. 主干网络瘦身

原版RT-DETR用的HGNetv2在边缘设备上太重了。我试过直接换MobileNetV3，精度掉得厉害。后来发现问题出在通道对齐上——DETR的Transformer对特征维度敏感，乱改通道数会破坏后续投影层的权重分布。

# 错误示范：直接替换整个backbone# 这样输出通道数对不上，decoder直接崩# backbone = MobileNetV3_Small() # 这里踩过坑# 正确姿势：渐进式替换+通道适