【RT-DETR涨点改进】PR 2026顶刊 | 独家创新首发、特征融合改进篇| 使用IGCAB光照引导交叉注意力模块,含3种不同版本创新改进,助力各种任务的目标检测,多模态融合目标检测有效涨点
一、本文介绍
🔥本文给大家介绍使用 IGCAB光照引导交叉注意力模块 改进RT-DETR网络模型,利用红外模态的稳定信息对可见光特征进行引导,使模型在特征融合阶段能够建立更加有效的跨模态关联,从而增强特征表达能力并缓解不同模态之间的差异带来的干扰。通过这种引导式跨注意力机制,RT-DETR能够在复杂环境下更准确地聚焦目标区域,提升目标定位与分类的精度,尤其在低光照、遮挡或背景干扰较强的场景中效果更加明显,提高检测鲁棒性和小目标识别能力,同时由于IGCAB采用轻量化设计,在提升性能的同时不会显著增加计算开销,保证模型仍具备良好的实时性和可扩展性。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR创新改进!🔥
🔥RT-DETR创新改进目录:全新RT-DETR 有效涨点改进目录 | 包含各种卷积、主干改进、各种注意力机制、Neck特征融合改进、损失函数、AIFI创新改进、独家创新、小目标检测、特殊场景检测等最全大论文及小论文必备创新改进点
🔥全新RT-DETR创新改进专栏地址:最全RT-DETR创新改进高效涨点+永久更新中(至少500+改进)+高效跑实验发论文
本文目录
一、本文介绍
二、IGCAB光照引导交叉注意力模块介绍
2.1 IGCAB光照引导交叉注意力模块结构图
2.2 IGCAB模块的作用:
2.3 IGCAB模块的原理
2.4 IGCAB模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 创新改进1🔥: rtdetr-l-IGCAB.yaml
🚀 创新改进2🔥: rtdetr-r18-IGCAB.yaml
🚀 创新改进3🔥: rtdetr-r50-IGCAB.yaml
六、正常运行
二、IGCAB光照引导交叉注意力模块介绍
摘要:可见光-红外目标检测旨在利用不同模态间的互补性,以提升复杂环境中的目标分类与定位精度。然而现有方法大多侧重检测性能而忽视网络复杂度,导致实际应用受限。为此,我们提出一种轻量级模态引导交叉注意力融合网络(LCAFNet),该网络由可见光引导交叉注意力模块(VG-CAB)、红外光引导交叉注意力模块(IG-CAB)及门控融合模块(GFB)构成。VG-CAB与IG-CAB通过利用单一模态的注意力权重引导另一模态的信息聚合,实现跨模态信息交互与多视角特征融合。这两个模块生成包含可见光(VIS)与红外光(IR)信息的互补特征,形成全面且鲁棒的多模态特征表示。得益于VG-CAB与IG-CAB生成的增强互补特征, GFB 通过门控策略实现特征间的自适应完整融合。此外,从双分支骨干网络中提取的浅层VIS与IR特征被用于挖掘整合具有更强空间与边缘信息的互补
