3.3 指令微调与高效微调：SFT、LoRA 与上下文扩展

3.3 指令微调与高效微调：SFT、LoRA 与上下文扩展

基于《大规模语言模型：从理论到实践（第2版）》第5章 指令微调

爆款小标题：指令数据怎么建、LoRA 怎么配？原书第5章指令微调与高效微调精讲

为什么这一节重要

预训练得到的基座模型「会说话、有知识」，但未必会按人的指令格式输出、也未必在「多个合理答案」中选人类更喜欢的那一个。指令微调（SFT）就是通过高质量的「指令—输入—输出」数据，教会模型遵循指令、适应对话与任务格式；而参数高效微调（如 LoRA）让我们在有限显存下只训练少量参数就能获得不错效果。本节基于原书第 5 章，把指令微调的目标与数据形式、LoRA 的原理与配置、以及长上下文扩展的常见思路讲清，并给出数据构建与 LoRA 调参的实战要点。

学习目标

学完本节，你将能够：

• 说清指令微调：说明 SFT 的目标、典型数据形式（指令/输入/输出）与训练流程（损失在哪算、如何构造输入序列）。
• 掌握 LoRA：解释 LoRA 如何在线性层旁路加入低秩矩阵 A、B，为何只训 A/B 就能逼近全量微调、推理时如何合并；能根据基座与任务初步选择 rank、alpha、target_modules。
• 了解长上下文扩展：说出位置编码插值、NTK、YaRN 等常见做法的大致思路，以及何时需配合长上下文数据微调。

一、指令微调的目标与数据形式（原书第 5 章）

目标：让模型在给定「指令（及可选输入）」时，生成符合任务要求、格式稳定、且与人类期望一致的「输出」。