AAAI 2026 | SACF：光谱引导自适应跨层融合模块，频域纹理双重增强让遥感检测细节拉满！

论文: MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images
作者: Shuaihao Han, Tingfa Xu*, Peifu Liu, Jianan Li
发表: AAAI 2026
论文链接: https://arxiv.org/abs/2512.09489
代码链接: https://github.com/shuaihao-han/MODA

一、引言

在多光谱遥感图像目标检测中，一个核心难题是如何有效融合高层语义特征与底层空间细节。高层特征经过多次下采样后具有丰富的语义信息，但空间分辨率低、边界模糊；底层特征保留了精细的纹理细节，但缺乏高层语义引导。传统的FPN-style跨层融合通常采用简单的逐元素相加或通道拼接，忽略了两个关键问题：

1. 光谱信息在跨层传递中的损失：高层特征包含丰富的光谱相关性信息，简单的融合方式无法保持目标内部的光谱一致性
2. 空间纹理细节的丢失：下采样导致的空间混叠效应（spectral aliasing）使得边缘和纹理信息退化，影响小目标的定位精度

SACF（Spectral-guided Adaptive Cross-layer Fusion，光谱引导自适应跨层融合模块）正是为解决这两个问题而设计的。它是OSSDet框架中连接编码器与解码器的关键桥梁，通过光谱特征聚合器（SFA）保持目标内部光谱一致性，同时通过空间细节增强器（SDE）恢复高频纹理信息，再以自适应加权方式实现跨层融合。

二、核心动机

在多光谱目标检测中，跨层特征融合面临两个本质矛盾：

矛盾一：高层光谱信息丰富但空间粗糙。高层特征中，同一目标区域内的像素具有相似的光谱曲线，这种光谱相似性是区分目标与背景的关键线索。然而，连续下采样使得原本属于同一目标的像素被"稀释"，其光谱特征受到邻域背景的污染。

矛盾二：底层空间细节丰富但缺乏引导。底层特征包含大量有用的纹理和边缘信息，但同时也携带了大量背景噪声。无差别地融合这些信息会引入干扰，降低检测器对目标的辨别能力。

关键观察：高层特征中，每个空间位置的光谱向量与其邻域向量之间的相似度可以作为一个天然的自注意力权重——属于同一目标区域的光谱向量相似度高，而背景区域的相似度低。利用这种光谱相似性，可以在高层特征内部实现"同物增强"的自适应聚合。

同时，底层特征中的高频分量（边缘、纹理）与低频分量（结构、轮廓）可以通过频率分解进行分离。高频分量包含了目标边界的关键信息，但容易受到噪声干扰；低频分量提供了稳定的结构上下文，但对小目标的响应较弱。

解决思路：SACF设计了三个环环相扣的步骤——先用SFA在高层特征内部进行光谱引导的自适应聚合，增强目标内部相关性；再用SDE对底层特征进行频率分解和细节增强，恢复纹理信息；最后通过自适应加权机制实现两者的最优融合。

三、方法

3.1 模块整体设计

SACF模块以一个自顶向下的跨层融合路径工作，接收高层特征F ^ l ∈ R C × H × W \hat{F}_l \in \mathbb{R}^{C \times H \times W}F^l​∈RC×H×W和底层特征F l − 1 ∈ R C × 2 H × 2 W F_{l-1} \in \mathbb{R}^{C \times 2H \times 2W}Fl−1​∈RC×2H×2W作为输入，输出融合后的增强特征F ^ l − 1 \hat{F}_{l-1}F^l−1​。

前向过程总述：

1. SFA光谱聚合：对高层特征F ^ l \hat{F}_lF^l​中的每个光谱向量，计算其与k × k k \times kk×k邻域内所有向量的欧氏距离，通过Softmax转换为相似性权重，加权聚合邻域信息，增强目标内部光谱一致性
2. SDE细节增强：对底层特征F l − 1 F_{l-1}Fl−1​进行低频/高频分解，对高频分量进行可学习的空间细节增强，保留纹理边缘信息
3. 自适应融合：对处理后的高、底层特征分别计算全局置信度，生成自适应融合权重，加权融合得到输出

3.2 核心算法：光谱特征聚合器（SFA）

SFA是SACF中最具创新性的组件，其核心思想是利用光谱向量的局部相似性实现自适应特征聚合。

对于高层特征F ^ l ∈ R C × H × W \hat{F}_l \in \mathbb{R}^{C \times H \times W}F^l​∈RC×H×W中的每个空间位置( i , j ) (i, j)(i,j)，其特征向量为p i , j ∈ R C × 1 × 1 \boldsymbol{p}_{i,j} \in \mathbb{R}^{C \times 1 \times 1}pi,j​∈RC×1×1。考虑其k × k k \times kk×k邻域补丁P i , j = [ p i + δ m , j + δ n ] \boldsymbol{P}_{i,j} = [\boldsymbol{p}_{i+\delta_m, j+\delta_n}]Pi,j​=[pi+δm​,j+δn​​]，其中δ m , δ n ∈ { − k − 1 2 , … , k − 1 2 } \delta_m, \delta_n \in \{-\frac{k-1}{2}, \dots, \frac{k-1}{2}\}δm​,δn​∈{−2k−1​,…,2k−1​}。

邻域中每个向量p i + δ m , j + δ n \boldsymbol{p}_{i+\delta_m, j+\delta_n}pi+δm​,j+δn​​与中心向量p i , j \boldsymbol{p}_{i,j}pi,j​的相似度权重由欧氏距离的指数函数计算：

e i + δ m , j + δ n = exp ⁡ ( − ∥ p i , j − p i + δ m , j + δ n ∥ 2 ) ∑ δ u , δ v exp ⁡ ( − ∥ p i , j − p i + δ u , j + δ v ∥ 2 ) e_{i+\delta_m, j+\delta_n} = \frac{\exp(-\|\boldsymbol{p}_{i,j} - \boldsymbol{p}_{i+\delta_m, j+\delta_n}\|_2)}{\sum_{\delta_u, \delta_v} \exp(-\|\boldsymbol{p}_{i,j} - \boldsymbol{p}_{i+\delta_u, j+\delta_v}\|_2)}ei+δm​,j+δn​​=∑δu​,δ