一、基础阶段
- 预训练用海量无标注文本让模型自学语言、常识、逻辑，产出基础基座模型，是第一步打底训练。
- 基座模型只完成预训练、没经过指令优化的原始大模型，只会续写文字，听不懂人类提问。
- 训练（广义）完整打造可用大模型的全过程，包含预训练、SFT、RLHF 所有阶段。
- 微调不在空白模型从头学，基于已训练好的基座小幅更新参数，成本远低于预训练。
二、监督微调（SFT）
- SFT（监督微调）：拿人工标注好的「指令 - 标准答案」数据集训练，教会模型听懂问题、规范回答。
- LORA ：低秩微调主流轻量化微调方案，冻结主干模型，只训练少量小参数，节省显卡显存。
- 过拟合：模型死记训练数据，遇到新问题就答不好，微调会控制轮数避免该问题。
三、RLHF（人类反馈强化学习）
- RLHF（人类反馈强化学习）在 SFT 之后，靠人类打分优化回答质量、修正价值观、减少胡说。
- RM 奖励模型：人工给多条回答优劣排序后训练出的打分模型，自动评判回答好坏。
- PPO：RLHF 里核心强化学习算法，依据奖励模型RM分数 迭代优化主模型。
- KL 散度损失：PPO 训练的约束惩罚项，衡量新模型和原始基座输出差异，防止模型学歪、丢失原有知识。
四、训练通用概念
- 损失：模型预测和标准答案的差距，差距越大损失越高，训练目标就是降低损失。
- 交叉熵损失：预训练、SFT 阶段使用，用来衡量文字预测准确度。
- Prompt 模板：固定格式封装用户问题，让模型分清提问和回答边界。
