面试-Decoder-Only生成模型
1 背景
Decoder-Only 模型（如 GPT 系列、Llama）的工作原理是“根据上下文预测下一个字” 。这种 “递归”的特性导致了必须将推理过程拆分为两个截然不同的阶段。
输入：整个历史序列。
输出：下一个 Token。
循环：预测出的 Token 会被拼接到输入中，作为下一次计算的输入。
Q1 为什么会分为两个截然不同的阶段？
| 维度 | Prefill 阶段 (预填充) | Decode 阶段 (解码) |
| 任务目标 | 处理用户输入的 Prompt（提示词）。 | 逐个生成新的 Token。 |
| 计算特征 | 并行计算。一次性把用户输入的 N 个词全部喂给模型。 | 串行计算。一次只处理一个词，算完才能算下一个。 |
| 计算强度 | 计算密集型 (Compute-bound)。矩阵维度大，GPU 算力被充分利用。 | 访存密集型 (Memory-bound)。矩阵维度极小（向量），大部分时间花在从显存搬运权重上。 |
| 核心瓶颈 | GPU 的峰值算力（TFLOPS）。 | 显存带宽 (Memory Bandwidth)。 |
| 关键指标 | TTFT(Time to First Token，首字延迟)。 | TPOT(Time Per Output Token，单字生成速度)。 |
看图 1 中 Iter 2 和 Iter 3 的虚线框，你会发现它们只处理新生成的词。为什么不需要重新计算之前的“I think this”？
背景：在 Attention 计算中，每一个词都需要和之