【RT-DETR多模态涨点改进】TGRS 2026 |独家特征融合改进 | 引入 CIFusion 通道交互融合模块,通过跨特征交互机制强化目标区域响应,适合多模态融合目标检测,小目标检测,发论文热点
一、本文介绍
🔥这篇论文作者喜提TGRS 2026顶刊!做遥感多模态小目标检测任务。
本文给大家介绍利用 CIFusion 通道交互融合模块 改进RT-DETR多模态目标检测模型,从而提高目标检测性能。CIF 通过对 RGB 与红外特征进行通道级自适应交互,根据全局上下文动态分配不同模态通道的重要性,使网络能够更加充分地利用两种模态之间的互补信息。与传统简单拼接或加权融合方式相比,CIF 通过跨模态特征交互机制强化目标区域响应,同时抑制背景噪声与模态间信息干扰,从而获得更加稳定和判别性更强的融合特征。将该模块嵌入 RT-DETR多模态检测网络后,不仅能够提升复杂场景下的检测鲁棒性,还能够增强对小目标和低对比度目标的感知能力,在保持模型结构相对轻量的同时提高整体检测精度。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进!🔥
🔥RT-DETR多模态改进专栏目录:《独家RT-DETR多模态改进专栏目录 》全网独家创新,多模态融合改进教程,包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进,答疑群提供完整项目,永久更新中
🔥RT-DETR多模态创新订阅地址:RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊,永久更新中
本文目录
一、本文介绍
二、CIFusion 通道交互融合模块介绍
2.1 CIFusion 通道交互融合模块结构图
2.2 CIFusion模块的作用
2.3 CIFusion模块的原理
2.4 CIFusion模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用编辑
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 中期融合创新改进1🔥: yolov13-midfusion-CIFusion.yaml
🚀 中后期融合创新改进2🔥: yolov13-mid-to-late-CIFusion.yaml
🚀 后期融合创新改进3🔥: yolov13-latefusion-CIFusion.yaml
六、正常运行
二、CIFusion 通道交互融合模块介绍
摘要:红外-自适应特征聚合块航空影像(尤其是来自无人机和遥感平台的影像)中的目标检测至关重要,但面临着模态错位、特征融合退化和计算复杂度高等重大挑战。为解决这些问题,本文提出了跨模态特征自适应检测(CMFADet),这是一种适用于不同航空场景下稳健的RGB-红外(IR)目标检测新框架。CMFADet通过其创新的空间-频率特征增强模块(SFEM)和红外自适应特征聚合块(IR-AFAB)改进特征学习。它还集成了通道交互融合(CIF)模块进行动态权重分配,确保真正的互补信息融合并避免相互干扰。这种分配由目标的特定特征和每种模态的固有优势决定。检测精度通过学习联合特征的自适应任务感知对齐头(ATAH)进一步提升。在DroneVehicle、航空影像车辆检测(VEDAI)和OGSOD-1.0数据集上的大量实验表明,CMFADet性能优越,持续超越最先进的算法,并有效解决了上述挑战。
