【RT-DETR实战】030、注意力机制改进：引入SimAM，EMA等无参注意力

从一次深夜调试说起

上周三凌晨两点，我在部署RT-DETR到边缘设备时遇到了性能瓶颈。模型在Jetson Orin上跑起来比预期慢了23%，显存占用也超出了预算。

用perf工具分析发现，注意力模块的计算开销占了近40%——这让我不得不重新审视那些“标配”的注意力机制。

我们习惯性地给网络堆叠各种复杂的注意力模块，却很少思考：在资源受限的嵌入式场景中，这些模块真的划算吗？

无参注意力的价值所在

传统注意力机制（像SE、CBAM）虽然效果不错，但引入的可训练参数和计算量在边缘端往往是奢侈的。特别是在部署时，每个额外的参数都意味着更多的内存访问和功耗。

无参注意力的核心思想很直接：在不增加可训练参数的前提下，让网络学会“看哪里”。这对RT-DETR这类实时检测模型尤其重要——我们需要性能，但不能牺牲速度。

SimAM：基于神经科学的注意力

SimAM的灵感来自神经科学中的神经元激活特性。它不像传统方法那样依赖全连接层或卷积来生成权重，而是直接从特征图本身推导出注意力图。

classSimAM(nn.Module