3.5 数据管线、损失函数与分布式训练如何配合

3.5 预训练目标与训练流程小结：从数据到损失到 checkpoint

基于《大规模语言模型：从理论到实践（第2版）》第3–4章串讲

为什么这一节重要

前面几节分别讲了预训练数据从哪来、分布式怎么并、指令微调与 RLHF 怎么做。但要真正「把预训练跑起来」，还需要把数据管线（从原始语料到模型能吃的 input_ids）、损失函数（下一 token 预测与交叉熵）和训练循环（前向—反向—梯度同步—优化器更新—checkpoint）串成一条清晰的线。本节基于原书第 2 章语言模型目标、第 3 章数据与第 4 章分布式实践，做一次串讲，让你能说出「从原始 txt 到一次优化器更新」经过哪些步骤，以及预训练损失应如何正确计算与监控。

学习目标

学完本节，你将能够：

• 说清预训练目标：写出自回归语言模型的训练目标（下一 token 预测、交叉熵损失），并说明与「上下文长度」「batch size」「梯度累积」的关系。
• 描述数据管线：从「原始语料」到「可训练的 batch」列出至少 3 个必经步骤（如清洗、分片、tokenize、打包），并说明每步目的；理解多卡时数据如何分片与不重复。
• 理解训练循环与 checkpoint：说明单步训练包含前向、损失、反向、梯度同步（分布式）、优化器更新；checkpoint 通常需保存模型、优化器状态与步数等（原书第 4 章 DeepSpeed 实践）。

一、预训练目标：下一 token 预测与交叉熵（原书第 2–3 章）

语言模型目标：对序列