大模型训练基本概念

目录

Scaling Laws 第一定律

OpenAI 在 2020 年的论文中提出了 Scaling Laws（扩展定律），证明了 LLM 的性能（以交叉熵损失衡量）遵循一定的数学幂律关系（Power-law）。即：大预言模型的 Loss（损失函数）值与模型参数量（N）、训练数据量（D）、计算资源量（C）这 3 者之间存在着稳定且可预测的数学关系。

• L：损失函数，收到 N、D、C 的影响。
• α、β、γ：常数系数，α≈0.076、β≈0.095、γ≈0.05，实际值因任务不同略有调整。
  
  如上图所示：

1. 模型参数量（N）：模型的总参数规模越大，损失越低。例如：将参数量从 1 亿增至 10 亿，损失下降幅度超过线性增长预期。
2. 计算资源量（C）：训练所用的浮点运算量（FLOPs）与损失呈反向幂律关系，即：更多的计算资源可显著提升模型效果。
3. 训练数据量（D）：在 C 和 N 固定时，增加 D 可以缓解过度拟合，但存在边际递减效应。如下图所示，当 C 固定时，需要找到一个最低点的 D。

所以，大模型训练需要关注 3 要素的平衡扩展。若仅扩大其中一项而其他两项受限，将导致收益显著降低。例如，若模型参数增加 8 倍，训练数据需至少增加 5 倍才能避免过拟合。

简而言之，Scaling Laws 证明了随着 N、D、C 的增加，LLM 的性能会持续改善，而且在相当长的发展阶段内没有明显的天花板效应。也因此 Scaling Law 为 AI 行业发展提供了关键的底层逻辑支撑 ——规模优先于算法：在 Scaling Law 之前，AI 研究普遍专注在算法创新（如层数、注意力头数、宽度与深度比例）。Scaling Law 之后，通过简单地扩大模型的参数规模，就可以持续获得性能提升。这解释了为什么从 GPT-3 到 GPT-4，模型的参数规模一直在扩大。先扩大规模，再进行算法改进和优化才是正确的路径。

当前已知最大的模型是 GPT-4（万亿级），而 OpenAI 员工透露 GPT-5 的参数量是 GPT-4 的 10 倍。

大模型训练全流程

预训练阶段（Pre-Training）

Random Model（随机模型）：模型的初始状态，所有权重参数都是随机赋值的，不具备任何语言理解或生成能力。

Pre-Training Data（预训练数据）：海量、多样化的无标注文本数据，规模通常达到万亿 tokens 级别（如 GPT-3 训练数据约 45TB 文本），涵盖书籍、网页、论文、新闻等，确保模型接触到广泛的语言现象和知识。通过这些数据，模型能自动捕捉语法、语义、逻辑关系和世界常识。数据来源包括 Common Crawl（互联网网页爬取数据）和社交媒体数据（如微博、推特等）。

Pre-Trained Model（预训练模型）：通过 “自监督学习” 从海量数据中经过预训练后得到的基础模型（如 GPT、Llama、BERT），具备通用语言理解和生成能力，但不理解特定私域知识和不擅长特定任务。是后续所有优化的基础，是大模型能力的 “源头”。

微调阶段（Fine-Tuning）

In-Domain Data（领域数据/指令数据）：小规模、高质量的标注数据，规模通常为百万-千万 tokens 级别，但标注成本高，需人工设计或筛选。分为两类：

1. 领域数据：特定场景的数据（如医疗文献、法律条款）；
2. 指令数据：人类撰写的 “指令-响应” 或 “问题-答案” 对。

Fine-Tuned Model（微调后模型）：使用 In-Domain Data 对基础模型的部分参数进行 “定制” 后的最终模型，以优化特定任务性能（如客服、代码生成等）。常见的微调方式有：

• SFT（Supervised Fine-Tuning，有监督微调）：直接用指令数据训练，让模型学会理解和执行任务。
• RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）：先让人类对模型输出打分，训练一个 “奖励模型”，再用强化学习（如 PPO 算法）让模型优化输出，使其更符合人类偏好。

提示工程阶段（Prompting）

在不修改模型参数的前提下，通过 Prompting 或 In-Context Learning 引导模型输出所需结果：

• In-Context Learning（上下文学习）：在输入中加入少量 few-shot examples，让模型通过模仿示例完成任务，无需训练。
• Prompting（提示工程）：通过精心设计的 Prompt，引导模型生成特定格式或内容的输出。