【注意力机制】AAAI 2026 | Adaptive Cross-Fusion Attention (ACFA) — 自适应交叉融合注意力模块

一、论文信息

• 论文标题：Decoding with Structured Awareness: Integrating Directional, Frequency-Spatial, and Structural Attention for Medical Image Segmentation
• 论文链接：https://arxiv.org/abs/2512.05494
• 发表日期：2025年12月
• 所属机构：Yantai University / Shandong University

二、模块概述

Adaptive Cross-Fusion Attention (ACFA)是一种即插即用的注意力模块，旨在增强模型对关键区域的响应能力以及对结构方向的建模能力。该模块通过集成通道增强（Channel Enhancement）与空间建模（Spatial Modeling）机制，并引入三个方向（平面、水平、垂直）的可学习引导，实现了跨不同尺度和方向的细粒度特征增强。

ACFA 模块的核心设计思路是：在传统通道-空间注意力基础上，增加显式的方向感知（Directional Awareness）能力，使模型能够更好地捕捉医学图像中器官/病灶的结构化方向性特征。

三、模块结构详解

3.1 整体流程

对于输入特征图X ∈ R B × C × H × W X \in \mathbb{R}^{B \times C \times H \times W}X∈RB×C×H×W，ACFA 模块的处理流程如下：

1. 通道门控（Channel Gating）和空间门控（Spatial Gating）提取初步特征
2. 沿通道维度将特征图划分为4 个子集
3. 前 3 个子集引入方向性可学习参数，通过深度可分离卷积建模不同方向的结构分布
4. 第 4 个子集通过标准卷积捕获通用上下文信息
5. 4 个子集输出拼接后，经LayerNorm + 卷积融合得到最终输出

3.2 通道门控与空间门控

首先对输入特征图应用通道门控和空间门控：

X C G l − 1 = X ⊙ δ ( C G a v g ( X ) + C G max ⁡ ( X ) ) (1) X_{CG}^{l-1} = X \odot \delta(CG_{avg}(X) + CG_{\max}(X)) \tag{1}XCGl−1​=X⊙δ(CGavg​(X)+CGmax​(X))(1)

X S G l − 1 = X ⊙ δ ( f 7 × 7 C o n v ( S G ( X ) ) ) (2) X_{SG}^{l-1} = X \odot \delta(f_{7\times7}^{Conv}(SG(X))) \tag{2}XSGl−1​=X⊙δ(f7×7Conv​(SG(X)))(2)

其中：

• C G a v g ( ⋅ ) CG_{avg}(\cdot)CGavg​(⋅)和C G max ⁡ ( ⋅ ) CG_{\max}(\cdot)CGmax​(⋅)分别表示平均通道门控和最大通道门控
• S G ( ⋅ ) SG(\cdot)SG(⋅)表示空间特征门控
• f 7 × 7 C o n v ( ⋅ ) f_{7\times7}^{Conv}(\cdot)f7×7Conv​(⋅)表示7×7 卷积操作
• δ ( ⋅ ) \delta(\cdot)δ(⋅)是Sigmoid 激活函数
• ⊙ \odot⊙表示矩阵乘法（逐元素相乘）

公式解读：公式(1)通过平均池化和最大池化两种方式聚合通道信息后相加，经 Sigmoid 生成通道注意力权重，对输入进行重新标定。公式(2)则通过 7×7 大核卷积提取空间注意力图，捕捉更大范围的空间依赖关系。

3.3 方向感知分支

对经过通道-空间门控后的特征图X S G l − 1 X_{SG}^{l-1}XSGl−1​，沿通道维度均分为 4 个子集：

X S G 1 l − 1 , X S G 2 l − 1 , X S G 3 l − 1 , X S G 4 l − 1 X_{SG1}^{l-1}, X_{SG2}^{l-1}, X_{SG3}^{l-1}, X_{SG4}^{l-1}XSG1l−1​,XSG2l−1​,XSG3