YOLO26改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT，增强空间信息的感知能力
一、本文介绍
本文记录的是将RMT应用于YOLO26骨干网络的改进方法研究。
RMT通过构建基于曼哈顿距离的空间衰减矩阵，引入显式空间先验，同时提出新的注意力分解形式，在不破坏空间衰减矩阵的前提下，以线性复杂度对全局信息进行稀疏建模。将RMT融入YOLO26的骨干网络，能够有效提升其对图像空间信息的感知能力，在减少计算量的同时增强特征提取效果，进而提高YOLO26在各项任务中的准确性与效率 。
在YOLO26的基础上配置了原论文中RMT_T，RMT_S，RMT_B,RMT_L四种模型，以满足不同的需求。
文章目录
- 一、本文介绍
- 二、RMT原理介绍
- 2.1 出发点
- 2.2 结构原理
- 2.3 优势
- 三、RMT的实现代码
- 四、修改步骤
- 4.1 修改一
- 4.2 修改二
- 4.3 修改三
- 五、yaml模型文件
- 5.1 模型改进⭐
- 六、成功运行结果
二、RMT原理介绍
RMT:Retentive Networks Meet Vision Transformers
RMT模型是一种具有显式空间先验的视觉骨干网络，旨在解决Vision Transformer（ViT）中自注意力机制存在的问题。其结构设计的出发点、原理和优势如下：
2.1 出发点
ViT中的自注意力机制缺乏显式空间先验，且在对全局信息建模时具有二次计算复杂度，限制了ViT的应用。为缓解这些问题，作者从自然语言处理领域的Retentive Network（RetNet）中汲取灵感，提出RMT模型。
2.2 结构原理
- Manhattan Self - Attention（MaSA）：将
RetNet中的单向一维时间衰减扩展为双向二维空间衰减，基于曼哈顿距离引入显式空间先验