2025_NIPS_ZeroS: Zero-Sum Linear Attention for Efficient Transformers

文章核心总结与创新点

主要内容

该文针对线性注意力机制在保持O(N)复杂度时性能不及标准softmax注意力的问题，提出零和线性注意力（ZeroS）。文章先指出线性注意力的两大核心局限：凸组合限制导致仅能 additive 融合信息、均匀权重偏差造成长上下文注意力稀释；随后通过移除softmax中的零阶项（1/t）、解耦径向-角度组件、设计线性时间实现方案，让ZeroS支持正负权重和对比操作，最终在NLP、图像、时间序列等多个基准测试中，实现了与标准softmax注意力相当或更优的性能，同时保持线性复杂度。

核心创新点

1. 识别关键局限：明确凸组合的信息融合限制与零阶项导致的权重偏差，为改进提供理论依据。
2. 零和权重设计：移除softmax的零阶项，构建支持正负值的零和权重，直接表达向量间的对比关系，提升模型表达能力。
3. 径向-角度解耦：分离向量的幅度与方向，通过学习门控和符号余弦项恢复方向效应，复刻softmax注意力的角度翻转特性。
4. 高效线性实现：基于前缀和设计可线性化计算的结构，维持O(Nd²) runtime和O(d²)内存，兼顾性能与效率。

英文原文翻译（Markdown格式）

Abstract

线性注意力方法为Transformer提供了O(N)复杂度，但性能通常不及标准softmax注意力。我们识别出影响这些方法的两大核心局限：凸组合限制仅允许 add