多模态目标检测这几个新套路又发了ICCV/CVPR，太香了！
如今，多模态目标检测正向构建统一、高效、能处理复杂真实场景的模型方向发展。从当前研究动态来看，其前沿热点主要集中在四个方面：统一架构设计、面向缺失/噪声的鲁棒学习、与多模态大模型结合提升语义理解，以及开放词汇检测以突破固定类别限制。
问哪个发文更好？这就要看你情况，有资源想冲顶会，就试试MLLM+检测，这是当前最热的前沿，不过竞争激烈。想求稳，就在统一框架或开放词汇方向上，针对现有模型的某个具体弱点提出一个精巧改进，并配上扎实的实验。
为了帮你快速找到思路，我已经准备好了16篇多模态目标检测前沿论文，附代码，其中包含多篇ICCV/CVPR成果，部分做了创新分析，建议你先从复现这些成果开始，一般很快就能get切入点。
全部论文+开源代码需要的同学看文末
WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection
方法：论文提出WaveMamba方法，针对RGB-红外多模态目标检测，通过离散小波变换分解两种模态的互补频率特征，借助WaveMamba融合块实现跨模态频率特征高效融合，再结合集成逆离散小波变换的改进YOLOv8检测头减少信息损失，最终在多个数据集上实现性能提升。
创新点：
借助离散小波变换挖掘RGB与红外模态的互补频率特征，为多模态融合提供新的特征维度。
设计WaveMamba融合块，通过低频Mamba融合与高频增强策略，实现不同频率特征的针对性高效融合。
改进YOLOv8检测头，集成逆离散小波变换减少信息损失，优化最终检测结果生成。
SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection
方法：论文提出 SM3Det 统一模型，针对遥感多模态多任务目标检测，通过网格级稀疏 MoE 骨干网络捕捉多模态共享与专属特征，结合动态子模块优化机制平衡不同模态和任务的学习难度，实现对 SAR、光学、红外等多模态图像的水平及定向目标统一高效检测。
创新点：
提出多模态多任务目标检测（M2Det）新任务，面向遥感场景实现多模态图像的水平及定向目标统一检测。
设计网格级稀疏MoE骨干网络，动态路由激活局部网格特征对应的专家，同时学习多模态共享知识与专属表征。
引入动态子模块优化（DSO）机制，通过自适应调整网络子模块学习率，解决多模态、多任务间的优化不一致问题。
Weakly Misalignment-free Adaptive Feature Alignment for UAVs-based Multimodal Object Detection
方法：论文提出偏移引导自适应特征对齐（OAFA）方法，针对无人机 RGB - 红外多模态目标检测中的弱错位问题，通过跨模态空间偏移建模模块构建公共子空间获取模态不变特征以精准估计偏移，结合偏移引导可变形对齐融合模块实现自适应特征对齐与融合，无需严格对齐即可提升检测性能与鲁棒性。
创新点：
提出偏移引导自适应特征对齐方法，针对无人机多模态检测的弱错位问题，用自适应对齐替代严格对齐。
设计跨模态空间偏移建模模块，构建公共子空间提取模态不变特征，精准估计跨模态偏移。
提出偏移引导可变形对齐融合模块，以预估偏移为指导，通过可变形卷积调整采样位置并融合特征。
Contextual Object Detection with Multimodal Large Language Models
方法：论文提出 ContextDET 统一多模态模型，基于 “生成后检测” 框架，通过视觉编码器提取图像特征、预训练大语言模型解码多模态上下文、视觉解码器关联目标词与边界框，实现语言完形填空、视觉描述、问答等场景下的上下文感知多模态目标检测。
创新点：
提出上下文感知目标检测新任务，涵盖三类典型交互场景，需结合多模态上下文定位并识别人类词汇级目标。
设计“生成后检测”框架ContextDET，通过视觉编码器、预训练大语言模型、视觉解码器的端到端协同，关联文本目标词与图像边界框。
构建CODE基准数据集，提供丰富独特目标词支持任务评估，突破传统数据集类别限制。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“222”获取全部方案+开源代码
码字不易，欢迎大家点赞评论收藏