【YOLOv12多模态融合改进】| TGRS 2025 HFFE分层特征融合编码器 双模态注意力加权 + 跨尺度对齐融合，强化弱小目标多模态特征互补

一、本文介绍

本文记录的是利用分层特征融合模块HFFE改进YOLOv12的可见光-红外双模态目标检测。

HFFE（Hierarchical Feature Fusion Encoder）通过可见光-红外特征分辨率对齐、空间注意力模态筛选与坐标注意力位置编码结合，自适应完成深浅层双模态特征加权交互，打通可见光纹理与红外热辐射信息融合通路。本文利用HFFE模块，先通过双线性插值统一不同层级可见光、红外特征空间尺度，再借助空间注意力分别滤除两类模态无关背景，生成跨模态空间权重矩阵动态分配模态特征贡献，依托坐标注意力留存多模态小目标空间位置信息，针对性增强红外弱小目标热特征与可见光轮廓纹理，同步抑制可见光杂波、红外热云无效背景干扰，在编码器分层融合阶段实现双模态细节与全局热语义高效互补，解决传统单尺度拼接带来的模态语义错位问题，大幅提升复杂暗光、海面云层场景下多模态红外小目标检测精度。

专栏目录：《多模态模型改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用

专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！

二、HFFE介绍

2.1 设计出发点

可见光模态富含纹理、边缘细节，但低照度、云雾场景目标对比度极低；红外模态突出热辐射弱小目标，但缺失场景纹理与空间轮廓。传统同尺度跳跃连接仅简单拼接两类模态单层特征，存在三大缺陷：

1. 高低层级、双模态特征语义鸿沟大，直接融合会引入可见光杂波与红外背景噪声；
2. 无法自适应区分可见光纹理特征、红外热目标特征的贡献度，弱小目标易被可见光细节淹没；
3. 缺少跨层级、跨模态双向交互，不能同步聚合浅层多模态细节与深层全局热语义。
   因此设计HFFE，依托空间+坐标双注意力实现可见光-红外多模态分层自适应融合，对齐不同尺度双模态特征、区分模态专属有效信息，抑制两类模态冗余背景干扰。

2.2 模块结构

HFFE（Hierarchical Feature Fusion Encoder）分层特征融合编码器：

1. 多模态分辨率对齐：输入可见光浅层细节特征、红外深层语义特征，对高层红外特征双线性上采样匹配浅层可见光尺寸，消除模态尺度差；
2. 双注意力精炼：分别对可见光、红外特征执行空间注意力SAM过滤背景，再生成跨模态空间权重矩阵SWM双向加权；
3. 坐标注意力跨模态关联：编码可见光轮廓、红外热目标横竖空间位置，保留多模态小目标定位信息；
4. 分层融合输出