【RT-DETR实战】062、GPU/CPU混合推理加速策略：让RT-DETR在边缘设备上飞起来

从一次深夜调试说起

上周三凌晨两点，我盯着监控画面里卡成PPT的目标检测结果，咖啡已经凉透。部署在Jetson Orin上的RT-DETR模型，处理1080p视频时帧率只有8FPS——这离实时检测的要求差得太远。

纯GPU推理显存爆了，纯CPU推理速度感人，难道就没有折中方案吗？

这就是我们今天要解决的问题：如何通过GPU/CPU混合推理策略，让RT-DETR在资源受限的边缘设备上达到性能与精度的最佳平衡。

混合推理的核心思想

混合推理不是简单地把层分配到不同设备，而是基于计算特性和数据流精心设计。

RT-DETR的Transformer架构有个特点：Encoder部分计算密集但并行度高，Decoder部分相对轻量但控制流复杂。

classHybridRTDETR(nn.Module):def__init__