CVPR 2025 | FEFM：频域穷尽融合机制，CRM+DRM双分支协同挖掘跨场共性与差异特征！

论文: Complementary Advantages: Exploiting Cross-Field Frequency Correlation for NIR-Assisted Image Denoising
作者: Yuchen Wang, Hongyuan Wang, Lizhi Wang, Xin Wang, Lin Zhu, Wanxuan Lu, Hua Huang
发表: CVPR 2025
论文链接: https://arxiv.org/abs/2412.16645
代码链接: https://github.com/yuchenwang815/FCENet

一、引言

在NIR辅助RGB图像去噪任务中，一个核心挑战是如何有效融合来自两个不同模态的信息。经过FDSM（频域动态选择机制）对NIR和RGB特征进行筛选后，我们获得了高质量的互补特征——RGB特征保留了丰富的低频颜色信息，NIR特征保留了清晰的高频纹理细节。但如何将这些筛选后的特征充分融合，仍然是一个亟待解决的问题。

传统的跨模态融合方法主要分为两类：

• 直接融合（如逐元素相加、通道拼接）：过于粗糙，无法区分两个场中的共性特征和差异特征，导致信息混淆
• 共性增强融合（如交叉注意力）：虽然能强化共性信息，但丢弃了关键的差异信息——尤其NIR中特有的锐利高频纹理在融合过程中被模糊化

针对这一问题，本文提出了频域穷尽融合机制（Frequency Exhaustive Fusion Mechanism, FEFM）。顾名思义，FEFM的目标是在频域中对两个场的特征进行"穷尽式"融合——既要充分建模共性特征，又要保留关键的差异特征。FEFM包含两大核心组件：共性特征强化机制（CRM）和差异特征强化机制（DRM），分别负责"求同"和"存异"。

二、核心动机

现有交叉注意力的局限性

现有NIR-RGB融合方法（如DVN）大多采用交叉注意力机制（cross-attention）来融合两个场的特征。交叉注意力通过计算NIR和RGB特征之间的相关性权重，对共性信息进行加权融合。然而，这种方法本质上是一种低通滤波操作——它倾向于保留两个模态中一致的部分（共性特征），而弱化不一致的部分（差异特征）。

问题是：经过FDSM筛选后，NIR和RGB特征中的差异信息恰恰是有用的互补信息。尤其是NIR特征中的高频纹理细节，在逐层融合过程中被交叉注意力"平均化"，导致最终的融合特征仍然模糊。

关键观察：频域融合需要"求同"与"存异"并重

作者观察到，经过FDSM筛选后的NIR和RGB特征图具有以下特性：

• 共性部分：两个场在低频区域有相似的结构信息，需要强化以保持整体结构一致性
• 差异部分：NIR特征图的高频纹理明显比RGB特征图清晰，这些差异信息对恢复细节至关重要

图1：FEFM特征可视化。从左到右依次为输入特征图、交叉注意力输出特征、FEFM输出特征

从图中可以清晰看到，普通交叉注意力输出的特征仍然模糊（第二列），而FEFM输出的特征在保留结构信息的同时，显著恢复了纹理细节（第三列）。

核心解决思路

基于以上分析，FEFM的核心思路是：在频域中同时建模共性特征和差异特征。

• CRM（共性特征强化机制）：利用频域卷积定理，同时建模频域中的局部相似性和长程通道相关性，全面挖掘NIR和RGB的共性信息
• DRM（差异特征强化机制）：通过差异交叉注意力（differential cross-attention），有选择地补充NIR中关键的差异高频特征

三、方法

3.1 模块整体设计

FEFM的输入是经过FDSM筛选后的特征：

• RGB筛选特征FR∈RC×H×W\mathbf{F}_{\mathbf{R}} \in \mathbb{R}^{C \times H \times W}FR​∈RC×H×W
• NIR筛选特征FN∈RC×H×W\mathbf{F}_{\mathbf{N}} \in \mathbb{R}^{C \times H \times W}FN​∈RC×H×W

图2：FDSM（左）与FEFM（右）架构图

前向过程总述：FEFM由CRM和DRM两个并行分支组成。CRM首先对两个场的特征进行编码，然后通过2D-DFT变换到频域，同时计算逐元素频域相关性和频域通道相关性，输出综合了局部相似性和长程通道相关性的融合特征。DRM利用差异交叉注意力，有选择地从NIR特征中提取CRM未能捕获的高频差异信息，补充到融合结果中。最后，将CRM和DRM的输出进行组合，得到频域穷尽融合特征。

3.2 核心算法：CRM

CRM的设计灵感源自频域卷积定理——两个信号在空域中的相关/卷积等价于它们在频域中的Hadamard积。利用这一性质，以往的工作（如FSAS）将频域引入自注意力机制，简化了矩阵乘法。然而，这种操作仅计算了频域中的逐点相关系数，忽视了频域中的长程相关性。

CRM的数学原理

CRM对输入特征进行以下编码：

Q=WdQWpQFR,K=WdKWpKFN,V=WdVWpVFN\mathbf{Q} = W_d^Q W_p^Q \mathbf{F}_{\mathbf{R}}, \quad \mathbf{K} = W_d^K W_p^K \mathbf{F}_{\mathbf{N}}, \quad \mathbf{V} = W_d^V W_p^V \mathbf{F}_{\mathbf{N}}Q=WdQ​WpQ​FR​,K=WdK​WpK​FN​,V=WdV​WpV​FN​

其中WpW_pWp​是逐点卷积（1×1卷积），WdW_dWd​是深度卷积（depthwise conv）。

然后，对Q\mathbf{Q}Q和K\mathbf{K}K应用2D-DFT得到频域立方体DQ\mathbf{D}_{\mathbf{Q}}DQ​和DK\mathbf{D}_{\mathbf{K}}DK​：

DQ=F(Q),DK=F(K)\mathb