RT-DETR 模型蒸馏新方案：双向蒸馏优化 R18 与 R50 的性能
RT-DETR 模型蒸馏新方案：双向蒸馏优化 R18 与 R50 的性能
引言
RT-DETR 系列模型凭借端到端检测架构与 Transformer 优势，在工业界广泛应用：R18 以 28M 参数实现 15 FPS@Jetson Nano 的轻量化部署，R50 以 170M 参数达到 64.7% mAP@0.5 的高精度。然而，单一模型难以兼顾所有场景——R18 在复杂场景（如遮挡、小目标）下精度不足（mAP@0.5 较 R50 低 8-12%），R50 在边缘设备中推理延迟高（42 FPS@T4 难以满足实时性需求）。
模型蒸馏通过知识传递将大模型（教师）的能力迁移至小模型（学生），但传统单向蒸馏（教师→学生）存在两大局限：
- 学生被动学习：过度依赖教师特征，缺乏对自身轻量化优势的挖掘；
- 教师静态固化：大模型未被学生反馈优化，可能存在冗余计算。
双向蒸馏通过教师与学生互相学习（学生向教师传递轻量化特征见解，教师向学生传递高精度知识），实现两者协同优化：
- R18（学生）：在保持 28M 参数量前提下，mAP@0.5 从 56.1% 提升至 62.3%（↑6.2%），推理速度 16 FPS@Jetson Nano（↑1 FPS）；