Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

一、研究背景与核心问题

1.1 研究背景：门控机制的广泛应用与认知空白

门控机制是深度学习中控制信息流的核心组件，从早期的 LSTM/GRU/Highway Networks，到近年的状态空间模型（SSM）、线性注意力，甚至标准 softmax 注意力，都广泛引入了门控设计。但现有研究存在两个核心认知缺陷：

1. 门控的独立价值被混淆：现有工作往往将门控与其他架构设计绑定（如 Switch Heads 的门控与专家路由、Native Sparse Attention 的门控与稀疏注意力设计），无法区分性能收益是来自门控本身，还是其他模块；
2. 门控的生效机理未被拆解：极少有工作系统分析门控的位置、粒度、激活函数等设计对模型隐藏状态、注意力分布、训练稳定性的具体影响，对门控为何生效缺乏底层解释。

1.2 待解决的核心问题

论文围绕三个核心问题展开研究：

1. 在标准 softmax 注意力中，门控的最优设计（位置、粒度、形式）是什么？
2. 门控机制提升模型性能的底层核心机理是什么？
3. 门控能否解决 LLM 训练与推理中的固有痛点：训练 loss 尖峰、注意力沉底、巨量激活（Massive Activation）、长上下文外推能力差？

二、核心方法：门控注意力的系统化设计

论文先回顾了标准多头注意力的计算流程，再形式化定义了门控机制，并对注意力层内的门控设计进行了全维度的变量控制探索。

2.1 前置知识：标准多头注意力计算