Generative Pre‑trained Transformer（GPT）

Generative Pre‑trained Transformer（GPT）

全称：生成式预训练‑Transformer 模型，拆开分成三段理解：Generative、Pre‑trained、Transformer。

1. Transformer（底层基础架构）

2017 年谷歌《Attention Is All You Need》提出，抛弃了 RNN 串行循环结构，核心依靠自注意力机制（Self‑Attention）。

1. 它可以一次性查看整段上下文，判断词语之间的远近关联；
2. 多头注意力：同时从不同角度理解语义（语法、因果、指代）；
3. 位置编码：识别文字先后顺序；

• 对比：RNN 是逐字串行处理，长文本容易遗忘前面内容；Transformer 并行运算，处理长文本更强。

Transformer 只是骨架，本身不会生成文字。

2. Pre‑trained（预训练，GPT 最关键思想）

训练拆分成两个阶段：预训练（Pre‑train） + 微调（Fine‑tune）

阶段 1：预训练（无监督学习）

用海量互联网文本（书籍、网页、文章）做学习，任务非常简单：

给定前面一堆单词，预测下一个单词是什么（自回归模式 Autoregressive）。 GPT 只用单向注意力（Masked self‑attention）：只能看到前文，看不到后面内容； BERT 则是双向 Transformer，适合理解类任务，不能用来续写文本。

• 预训练目标：学到语法、常识、逻辑、世界知识、文化；
• 大规模参数（GPT‑3 达到 175B 参数），参数越大记忆和推理越强。

阶段 2：微调（Fine‑tune）

预训练结束后，再用少量人工标注数据、人类偏好数据（RLHF 人类反馈强化学习）调整模型： 教会模型听懂指令、遵守人类价值观、输出符合人的表达习惯。

3. Generative（生成式）

GPT 属于自回归生成模式： 逐 token 一个字一个字往后生成，写完第 1 个词再判断第 2 个，循环输出完整段落。

• 特点：

1. 开放式生成：写文章、代码、对话、故事；
2. 概率采样：同一个问题每次回答会略有差别；
3. 局限：容易出现幻觉（编造不存在事实），因为它只是根据文本概率推算，并不真正理解知识。

整体逻辑总结（通俗版）

1. Transformer：先进神经网络架构；
2. Pre‑trained：先用海量数据自学语言规律；
3. Generative：通过逐字预测，生成通顺的回答。