【RT-DETR多模态创新改进】CVPR 2025 | 独家特征融合创新改进篇 | 引入FDSM频率域动态地选择模块，高效融合红外和可见光多模态特征，多模态融合目标检测发论文热点

一、本文介绍

本文介绍使用 FDSM（Frequency Dynamic Selection Mechanism）模块改进 RT-DETR多模态 模型，可有效提升模型对复杂场景中目标的判别能力。FDSM 通过在频域中动态选择和融合多源图像（如 RGB 与 NIR）中的高低频互补特征，自适应提取关键结构信息与纹理细节，从而增强特征表达的鲁棒性。相较于传统卷积特征提取方式，FDSM 能更精准地保留有用信息、抑制冗余与噪声，特别在弱光、小目标和遮挡环境下显著提升目标检测的准确率与稳定性。具体怎么使用请看全文！

🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进！🔥

🔥RT-DETR多模态改进专栏目录：《独家RT-DETR多模态改进专栏目录 》全网独家创新，多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中

🔥RT-DETR多模态创新订阅地址：RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中

本文目录

一、本文介绍

二、FDSM频率域动态地选择模块介绍

2.1 网络结构图

2.2 FDSM模块的作用

2.3 FDSM模块的优势

三、FDSM完整核心代码

四、手把手教你配置模块和修改tasks.py文件

1.首先在ultralytics/nn/newsAddmodules创建一个.py文件

2.在ultralytics/nn/newsAddmodules/__init__.py中引用

3.修改tasks.py文件

五、创建涨点yaml配置文件

🚀 中期融合创新改进🔥:  rtdetr-r18-midfusion-FDSM.yaml

🚀 中后期融合创新改进🔥:  rtdetr-r18-mid-to-late-FDSM.yaml

🚀 后期融合创新改进🔥:  rtdetr-r18-latefusion-FDSM.yaml

六、正常运行

二、FDSM频率域动态地选择模块介绍

摘要：现有的单图像去噪算法在处理复杂的噪声图像时，通常难以恢复细节。近红外 (NIR) 图像的引入为 RGB 图像去噪提供了新的可能性。然而，由于 NIR 图像和 RGB 图像之间存在不一致性，现有工作仍然难以在图像融合过程中平衡这两个领域的贡献。为了解决这个问题，在本文中，我们开发了一个跨领域频率相关性利用网络 (FCENet) 用于 NIR 辅助图像去噪。我们首先基于对 NIR-RGB 图像对的深入统计频率分析，提出了频率相关性先验。该先验揭示了 NIR 和 RGB 图像在频域中的互补相关性。利用频率相关性先验，我们建立了一个频率学习框架，该框架由频率动态选择机制 (FDSM) 和频率穷举融合机制 (FEFM) 组成。FDSM 在频域中动态选择来自 NIR 和 RGB 图像的互补信息，而 FEFM 加强了在 NIR 和 RGB 特征融合过程中对共同和差异特征的控制。在模拟和真实数据上的大量实验验证了所提出的方法优于其他最先进的方法。