Transformer 中为什么用LayerNorm而不用BatchNorm？

无论是 BERT、GPT 还是 ViT，几乎都不用 Batch Normalization，而是清一色地用 Layer Normalization。
这不是巧合，而是 Transformer 架构中一个非常深层的设计选择。

一、BN 和 LN 到底在做什么？

BN 和 LN 的出发点其实一样——稳定训练，防止梯度爆炸或消失。

• Batch Normalization（BN）：
  它在一个 batch 内计算均值和方差，对同一层的所有样本的每个通道做标准化。
  换句话说，BN 关心的是这一批数据的统计特征。

• Layer Normalization（LN）：
  LN 则是在同一个样本内部计算均值和方差，对该样本的所有特征维度一起归一化。
  换句话说，LN 关心的是单个样本内部的特征分布。

BN 是跨样本归一化，LN 是单样本归一化。

二、BN 的问题

BN 在 CNN 时代非常成功，但为什么在 Transformer 中就变得水土不服？

根本原因有三点。

1. Transformer 是序列模型，batch 维度不稳定

BN 的计算依赖 batch 的统计量（均值和方差）。
而 Transformer 的输入往往是变长序列，不同样本长度不同，padding 数量不同，导致 batch 内统计特性不一致，BN 的均值和方差变得不可靠。

2.自注意力机制破坏了空间独立性

在卷积中，BN 对通道归一化是合理的，因为每个通道特征相对独立。
但在 Transformer 的 Self-Attention 中，每个 token 都与其他 token 有强关联。
此时再按 batch 统计均值、方差，就会让不同样本的分布互相干扰，破坏注意力机制的学习稳定性。

3.推理阶段 BN 的统计特性难以复用

BN 在推理时会使用训练阶段的滑动均值来做归一化。
但 Transformer 的输入分布在推理阶段往往与训练时不同（比如变长文本、不同语言或领域），这会导致分布漂移（distribution shift），从而引入偏差。
LN 不依赖 batch，因此天然更稳定。

三、LN 的优势

相较 BN，LN 有三个天然优势，让它几乎成了 Transformer 的标配：

1. 与 batch size 无关：LN 在样本内部归一化，batch 只要有一个样本都能跑。
2. 适合变长序列：每个 token 独立归一化，不受 padding、mask 等影响。
3. 训练和推理一致：LN 在训练和推理阶段用的统计量完全一致，不存在分布漂移问题。

这些特性让 LN 特别适合大模型——尤其是在分布式、异步、变长输入的环境下。

更深层次的，BN 的归一化粒度是batch 维度，而 Transformer 想捕捉的是token 之间的微妙关系。
当每个样本长度不同、token 相关性强时，BN 的跨样本归一化反而会削弱模型的表达能力。

LN 的归一化发生在特征维度内部，保证了每个 token 的特征分布稳定，不会被其他样本的统计特征干扰。

这其实是一种从样本层面向特征层面的思维转变。

所以，总结一下：

Transformer 用 LN 而不用 BN，本质上是因为：

1. BN 依赖 batch 统计量，不适合变长、分布差异大的序列数据；
2. Attention 机制导致样本间特征强耦合，BN 会破坏这种结构；
3. LN 与 batch size 无关，推理阶段也稳定一致。

📚推荐阅读

● 一览Transformer整体架构
● Transformer——Attention怎么实现集中注意力
● Transformer——FeedForward模块在干什么？
● 从0开始实现Transformer
● 什么是KV-Cache
● Transformer注意力机制——MHA&MQA&GQA
● FlashAttention怎么提升速度的？
● 面试官：BatchNorm、LayerNorm、GroupNorm、InstanceNorm 有什么本质区别？
● 面试官：Transformer如何优化到线性级？
● FlashAttention2：更快的注意力机制，更好的并行效率
● FlashAttention3 全解析：速度、精度、显存的再平衡