【YOLOv8多模态融合改进】| IEEE2025 分层特征融合模块HFF 自适应权重 + 三重注意力，强化弱小目标细节保留

一、本文介绍

本文记录的是利用分层特征融合模块HFF改进YOLOv8的可见光-红外双模态目标检测。

HFF（Hierarchical Feature Fusion）通过浅层-深层特征逐元素融合、空间-通道-像素三重注意力建模与自适应加权分配结合，实现多模态来源下不同语义层级特征的自适应重要性学习与精准融合。本文利用HFF模块，先对多模态浅层细节特征与深层语义特征进行初步融合，再通过三重注意力机制生成自适应权重，动态分配不同层级、不同模态特征的贡献比例，对红外图像中微弱小目标的纹理、边缘与位置信息进行重点保留，强效抑制多模态背景噪声与杂波干扰，在多模态特征融合阶段实现细节信息与高级语义的高效互补，摆脱传统融合方式的权重同质化缺陷，显著提升复杂场景下红外弱小目标的检测召回率与分割精度。

专栏目录：《多模态模型改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用

专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！

二、HFF介绍

2.1 设计出发点

红外弱小目标尺寸极小、信噪比低，浅层细节特征与深层语义特征对检测贡献差异巨大；传统特征融合（如拼接、逐元素相加）不考虑不同层级特征的重要性权重，易丢失弱小目标细节、引入背景噪声，导致检测/分割精度不足。因此设计分层特征融合模块 HFF，自适应学习跨层特征权重，强化对红外小目标有用的信息。

2.2 模块结构

HFF（Hierarchical Feature Fusion）流程：

1. 初步融合：浅层细节特征 + 深层语义特征逐元素相加，得到初始融合特征。
2. 三重注意力：并行计算空间注意力 SA + 通道注意力 CA + 像素注意力 PA，得到综合注意力权重。
3. 自适应加权融合：按注意力权重动态分配浅层与深层特征的贡献度，输出最优融合特征。
   公式：X_out = X_raw + Att·X_low + (1−Att)·X_high

2.3 模块优势<