2.2 Transformer架构深度解析：自回归与掩码模型的奥秘

Transformer架构深度解析：自回归与掩码模型的奥秘

自注意力、编码器-解码器、GPT vs BERT，一文搞懂大模型底层机制。本节基于《AI工程》第2章「Modeling」— Model Architecture：Transformer核心机制、自回归与掩码模型的差异。

一、为什么必须理解 Transformer？

Chip Huyen 在《AI工程》第2章「Understanding Foundation Models」中，将**模型架构（Model Architecture）**列为理解基础模型的核心维度之一。无论调 API 还是做微调，理解 Transformer 能帮你：正确选型（生成 vs 理解）、理解上下文窗口、解释采样行为。本节从架构到训练目标，系统拆解书中对应内容。

书中指出，当前大模型几乎均基于 Transformer 架构。其核心创新——自注意力（Self-Attention）——使模型能够并行处理序列并建模长程依赖，是后续规模扩展的前提。

二、Transformer 核心：自注意力

2.1 自注意力机制

《AI工程》描述的自注意力机制：每个 token 通过 Query、Key、Value 三个线性变换，与序列中所有 token 计算注意力权重，再对 Value 加权求和得到新表示。

核心公式：
Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)=softmax(dk​​QKT​)V