1.2 从 BERT 到 ChatGPT：发展脉络与典型应用范式

1.2 从 BERT 到 ChatGPT：发展脉络与典型应用范式

基于《大规模语言模型：从理论到实践（第2版）》第1章 绪论

爆款小标题：一条时间线搞懂大模型演进，再也不会把「预训练」和「对齐」搞混

为什么这一节重要

大模型技术栈里充斥着「预训练」「微调」「对齐」「RLHF」等术语，若不清楚它们各自在时间线和产业链上的位置，很容易在讨论中混淆——例如把「还没做对齐」的模型拿去做了高安全要求的对话，或把「只做了 SFT」的模型当成「已经对齐」的成品。本节按原书绪论与第 2、5、6 章的线索，用一条清晰的时间线串联关键节点，并区分「预训练—微调—对齐」三阶段及其对应的数据形态与产品形态，最后简要归纳典型应用范式，为后续深入各章打基础。

学习目标

学完本节，你将能够：

• 按时间线梳理：说出 2018 年至 2022 年及之后大模型发展的关键节点（如 BERT、GPT-2、GPT-3、ChatGPT、LLaMA 等）及每个阶段代表性的能力跃迁。
• 区分三阶段：准确说明「预训练」「微调」「对齐」分别解决什么问题、输入输出与数据形态有何不同，以及它们在产业链与产品中的对应关系。
• 了解应用范式：列举原书涉及的典型应用形态（通用对话、领域问答、代码、工具与 Agent、多模态等），并能在实际项目中对应到「主要依赖哪一阶段的能力」。

一、发展脉络：从预训练+微调确立到对话与对齐成为标配

原书绪论与第 2 章勾勒的演进主线可概括为以下几个阶段。

2018–2019：预训练 + 微调范式确立