Kimi新架构得马斯克点赞：解析注意力残差Attention Residuals

写在前面

自 2015 年 ResNet 提出以来，残差连接（Residual Connections,hl=hl−1+f(hl−1)h_l = h_{l-1} + f(h_{l-1})hl​=hl−1​+f(hl−1​)）一直是深度神经网络的基石。在当前的大语言模型（LLM）中，结合 PreNorm 的残差连接构建了极佳的“梯度高速公路”，使得训练数百层的 Transformer 成为可能。

然而，这种**“固定且均匀的加法累积”**真的完美吗？随着模型深度的增加，无权重的累加会导致隐藏状态的范数以O(L)O(L)O(L)的速度失控增长（PreNorm Dilution），早期层的信息被逐渐稀释，网络陷入“越深越难有效利用”的困境。

近期，Kimi 团队有个牛逼论文《Attention Residuals》，提出了一种颠覆性的架构：用“深度方向的 Softmax 注意力”取代“固定的残差加法”。

一. 核心问题背景：标准残差连接的“深层”危机

在现代 LLM（如 LLaMA, DeepSeek 等）中，标准的残差更新公式为：
hl=hl−1+fl−1(hl−1) h_l = h_{l-1} + f_{l-1}(h_{l-1})hl​=hl−1​+fl−1​(hl−1​)
如果将其展开，第lll层的输入实际上是 Embedding 层和之前所有层输出的均匀无权重求和：
hl=h1+∑i=1l−1fi(hi) h_l = h_1 + \sum_{i=1}^{l-1} f_i(h_i)hl​=h1​+i=1∑l−1​fi​(hi​)

这种机制存在三个致命的局限性：

1. 无选择性访问（No Selective Access）：无论是 Attention 层还是 MoE/MLP 层，都只能接收到一个“大杂烩”状态，无法针对性地赋予不同历史层不同的权重。
2. 不可逆的信息丢失：早期的精细特征在层层累加中被淹没，深层网络无法“按需提取”浅层信息。
3. 输出膨胀与 PreNorm 稀释（Output Growth & PreNorm Dilution）：由于累加，hlh_lhl​的幅度随深度LLL线性增长。因为 PreNorm 会对输入进行归一化，深层网络为了对残差流产生实质性影响，必须输出越来越大的值，这破坏了训练的稳定性，导致浅层承担了过大的梯度。

正如在序列建模中，RNN 的顺序压缩被 Attention 的全局寻址所取代；在模型深度维度上，残差的线性累加也到了该被注