【AAAI 2026即插即用】注意力模块篇 | PSSA脉冲自注意力模块，适合图像分类、目标检测、图像去噪、图像恢复、暗光增强、神经形态视觉 / 事件相机处理、语义分割等CV任务通用，涨点起飞

🔥2026年即插即用模块目录：🔥2026年即插即用模块目录 | 卷积模块、注意力模块、特征融合模块、Mamba模块、时间序列预测模块等CV和NLP任务通用、覆盖机器学习、深度学习等支持各类人工智能相关任务，万能通用模块持续更新中！

本文目录

1.🔥论文介绍：

2.🔥论文创新点：

1. 极低计算成本的“线性注意力机制”

2. 全脉冲驱动的“无乘法”运算

3. 摒弃复杂的 Softmax 函数

4. 时空维度的联合建模

3.🔥方法描述：

4.🔥PSSA 即插即用模块作用：

5.🔥适用任务场景：

6.🔥即插即用模块代码：

1.🔥论文介绍：

🔥AAAI 2026 顶会🔥

论文题目：Spikingformer: A Key Foundation Model for Spiking Neural Networks

中文题目：Spikingformer:一种用于脉冲神经网络的关键基础模型

所属单位：北京大学

摘要：脉冲神经网络（SNNs）凭借其事件驱动的脉冲计算特性，为人工智能领域提供了一种极具潜力的节能替代方案。然而，部分基础 SNN 主干网络（如Spikformer和SEW ResNet）因残差连接结构导致的非脉冲计算（整数-浮点乘法）问题，使得SNNs功耗激增，难以适配主流神经形态硬件。本文深入解析了SNNs中残差连接方法的脉冲驱动特性，进而提出创新性解决方案——脉冲变换器主干网络。该架构以生物学合理的方式融合多尺度残差连接与自注意力机制，在解决非脉冲计算难题的同时保持全局建模能力。通过涵盖静态图像、神经形态数据和自然语言任务的13个数据集测试，我们验证了脉冲变换器的有效性与普适性，为脉冲神经网络确立了重要基准。凭借其脉冲驱动特性和全局建模能力，脉冲变换器有望成为推动人工智能节能发展的高效通用 SNN 主干网络。

2.🔥论文创新点：

本文提出了一种去除 Softmax、具有线性计算复杂度、且完全基于脉冲信号（用加法代替乘法）的时空自注意力机制，解决了传统 Transformer 难以在低功耗脉冲硬件上高效部署的难题。

以下是本文的创新点：

1. 极低计算成本的“线性注意力机制”

这是该模块最显著的创新。传统的注意力机制随着图片分辨率的增加，计算量会呈爆炸式增长（平方级增长）。而本文的代码通过改变矩阵相乘的顺序，实现了一种“线性复杂度”的计算方式。

• 具体做法：它不再计算巨大的“像素对像素”的关系矩阵，而是先聚合全局信息，再将其通过投影应用回每个像素。

• 优势：这意味着无论图片有多大，计算量的增长都是线性的。这使得脉冲神经网络能够处理非常高分辨率的图像，而不会耗尽显存。

2. 全脉冲驱动的“无乘法”运算

该模块实现了真正的全脉冲处理，极大地降低了能耗。

• 具体做法：代码中的查询（Q）、键（K）、值（V）以及最终输出，全部都通过了脉冲神经元（LIF Node）。这意味着参与计算的信号不再是复杂的浮点数，而是只有 0 和 1 的脉冲信号。

• 优势：在底层硬件上，这种二值信号的计算可以将昂贵的“乘法运算”转化为极其简单的“加法运算”，从而实现数量级级别的节能。

3. 摒弃复杂的 Softmax 函数

传统的 Transformer 极其依赖 Softmax 函数（用于归一化概率），但这在脉冲神经网络硬件上极难实现，因为它涉及指数运算和除法。

• 具体做法：该模块完全移除了 Softmax 层，转而使用一个简单的缩放因子（代码中的scale）来调节数值。

• 优势：这种“去 Softmax”的设计极大地简化了硬件电路设计，提高了推理速度，同时保持了脉冲神经网络的生物可解释性。

4. 时空维度的联合建模

代码显示该模块不仅处理图像的空间信息（宽和高），还明确处理“时间步”这一维度。

• 具体做法：通过使用多步脉冲神经元（MultiStepLIFNode），网络能够在时间轴上积累信息并发放脉冲。

• 优势：这使得模型不仅能看懂静态图片，还能捕捉动态变化的信息，比单纯将静态网络量化为脉冲网络具有更强的信息处理能力。

3.🔥方法描述：

Spikingformer的架构概述包含一个SpikingTokenizer、多个SpikingTransformerBlock和一个ClassificationHead。需注意Mutistep LIF 是采用LeakyIntegrate-and-Fire（LIF）神经元模型（Fang等，2022；Zhou等，2023b），其时间步长T>1。与Spikformer类似，T是脉冲神经元层的独立维度，其他层则与批量大小合并。本研究中，我们采用ConvBN表示卷积层及其后续的BN层。

4.🔥PSSA 即插即用模块作用：

• 作用：

  PSSA 模块的主要作用是在脉冲神经网络（SNN）中引入全局感知能力，同时保持极低的能耗。

  • 捕捉长距离依赖：传统的卷积层（Conv）只能提取局部特征，而 PSSA 像 Transformer 一样，利用自注意力机制让网络“看清”图像的全局上下文信息。

  • 时空信息融合：利用脉冲神经元（LIF Node）的时间记忆特性，同时处理空间特征和时间维度信息。

  • 低功耗运算：通过全脉冲驱动（Spike-driven），将传统 Transformer 中昂贵的浮点矩阵乘法转化为高效的稀疏加法运算。

• 实现：

  • 预激活脉冲生成 (Pre-activation)：输入特征首先经过脉冲神经元（图中的 LIF 图标），将模拟信号转化为二进制脉冲（0/1）。

  • Q, K, V 映射：通过三个并行的Conv1d + BN + LIF分支，生成查询（Query）、键（Key）和值（Value）的脉冲张量。这意味着参与注意力计算的 Q、K、V 全部是脉冲信号。

  • 线性注意力计算 (Spike-based Dot-Product)：

    • 去 Softmax：完全摒弃了传统 Attention 中的 Softmax 操作，避免了指数运算。

    • 线性复杂度：采用(K^T @ V) @ Q的计算顺序（代码中为k.transpose @ v然后q @ x）。先聚合全局上下文 K^T V，再将其广播到 Q。这使得计算复杂度与图像分辨率呈线性关系 O(N)，而非传统的平方级 O(N^2)。

  • 缩放与输出 (Scale & Output)：

    • 使用简单的标量乘法（Scale, 如 0.125）代替 Softmax 的归一化。

    • 最终通过输出层ConvBN将特征映射回原始维度，通过残差连接（Add）融合信息。

5.🔥适用任务场景：

PSSA模块的适用计算机视觉任务：

1. 目标检测：让网络在保留高分辨率细节的同时，获得全局的上下文信息（比如通过环境推断物体），从而显著提升对小目标的检测能力。

2. 神经形态视觉 / 事件相机处理：不需要将脉冲转为模拟信号，直接输入模块即可处理。极低延迟（微秒级），适合高速运动物体的捕捉（如高速避障、网球轨迹追踪）。

3. 图像恢复：PSSA 的线性特性允许网络在不进行下采样（Downsampling）的情况下提取全局特征，从而最大限度地保留图像的纹理细节。

4. 语义分割：利用自注意力机制，每个像素都能“看到”整张图片的信息。边缘分割更精准，且能够更好地区分外观相似但语义不同的物体（例如区分“路面”和“人行道”）。

5. 视频动作识别 / 视频目标跟踪：可以在极低的功耗下，连续处理视频流，捕捉物体的运动轨迹和动作变化。非常适合监控摄像头或无人机跟踪。

6.🔥即插即用模块代码：

import torch import torch.nn as nn from spikingjelly.clock_driven.neuron import MultiStepLIFNode class PSSA(nn.Module): def __init__(self, dim, num_heads=8): super().__init__() assert dim % num_heads == 0, f"dim {dim} should be divided by num_heads {num_heads}." self.dim = dim self.num_heads = num_heads self.scale = 0.125 self.proj_lif = MultiStepLIFNode(tau=2.0, detach_reset=True, backend='cupy') self.q_conv = nn.Conv1d(dim, dim, kernel_size=1, stride=1,bias=False) self.q_bn = nn.BatchNorm1d(dim) self.q_lif = MultiStepLIFNode(tau=2.0, detach_reset=True, backend='cupy') self.k_conv = nn.Conv1d(dim, dim, kernel_size=1, stride=1,bias=False) self.k_bn = nn.BatchNorm1d(dim) self.k_lif = MultiStepLIFNode(tau=2.0, detach_reset=True, backend='cupy') self.v_conv = nn.Conv1d(dim, dim, kernel_size=1, stride=1,bias=False) self.v_bn = nn.BatchNorm1d(dim) self.v_lif = MultiStepLIFNode(tau=2.0, detach_reset=True, backend='cupy') self.attn_lif = MultiStepLIFNode(tau=2.0, v_threshold=0.5, detach_reset=True, backend='cupy') self.proj_conv = nn.Conv1d(dim, dim, kernel_size=1, stride=1) self.proj_bn = nn.BatchNorm1d(dim) def forward(self, x): T, B, C, H, W = x.shape x = self.proj_lif(x) x = x.flatten(3) T, B, C, N = x.shape x_for_qkv = x.flatten(0, 1) q_conv_out = self.q_conv(x_for_qkv) q_conv_out = self.q_bn(q_conv_out).reshape(T, B, C, N).contiguous() q_conv_out = self.q_lif(q_conv_out) q = q_conv_out.transpose(-1, -2).reshape(T, B, N, self.num_heads, C // self.num_heads).permute(0, 1, 3, 2, 4).contiguous() k_conv_out = self.k_conv(x_for_qkv) k_conv_out = self.k_bn(k_conv_out).reshape(T, B, C, N).contiguous() k_conv_out = self.k_lif(k_conv_out) k = k_conv_out.transpose(-1, -2).reshape(T, B, N, self.num_heads, C // self.num_heads).permute(0, 1, 3, 2, 4).contiguous() v_conv_out = self.v_conv(x_for_qkv) v_conv_out = self.v_bn(v_conv_out).reshape(T, B, C, N).contiguous() v_conv_out = self.v_lif(v_conv_out) v = v_conv_out.transpose(-1, -2).reshape(T, B, N, self.num_heads, C // self.num_heads).permute(0, 1, 3, 2, 4).contiguous() x = k.transpose(-2, -1) @ v x = (q @ x) * self.scale x = x.transpose(3, 4).reshape(T, B, C, N).contiguous() x = self.attn_lif(x) x = x.flatten(0, 1) x = self.proj_bn(self.proj_conv(x)).reshape(T, B, C, H, W) return x # 测试代码 if __name__ == "__main__": # 自动选择设备（有显卡用显卡，没显卡用CPU） device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(f"正在使用设备: {device}") # 模型实例化 model = PSSA(dim=64).to(device) # 随机输入 [T, B, C, H, W] input_tensor = torch.randn(4, 2, 64, 32, 32).to(device) # 前向传播 output_tensor = model(input_tensor) print("AI缝合怪-独家复现整理、顶会顶刊即插即用模块!") print("输入特征层维度：", input_tensor.shape) print("输出特征层维度：", output_tensor.shape)