【Finetune学习】01：为什么你的大模型需要“再学习“？
你用 ChatGPT 写了一段营销文案，结果它写出来的东西像百科全书；你让它按公司格式输出 JSON，它总是漏字段。你反复调 Prompt，加角色、加规则、加示例、加限制……，效果还是时好时坏。问题可能不在Prompt，而在于你一直指挥模型，却从来没有真正训练它。
Finetune（微调）就是"教"的过程，用你自己的数据，让一个通用大模型变成你的专属模型。
这篇文章带你搞清楚：
Finetune 到底是什么
什么时候应该用
和 Prompt Engineering、RAG 的本质区别是什么？
为什么它能稳定提升效果？
一、从一个类比开始理解 Finetune
想象你招了一个名校毕业的实习生。他知识面很广，什么都能聊两句，但对你公司的业务一无所知。
你有三种方式让他上手：
| 方式 | 类比 | 对应技术 |
|---|---|---|
| 每次给他一份详细说明书 | “按这个格式写，注意这几个要点” | Prompt Engineering |
| 给他一个资料库随时查 | “不懂的去翻这个文档” | RAG（检索增强生成） |
| 让他跟老员工学几周 | “看看这些优秀案例，学着写” | Finetune（微调） |
这三种方式不是替代关系，而是解决问题不同。Prompt Engineering 是临时指令，RAG 是外挂知识库，Finetune 是改变模型本身。
三种方案的本质区别：Prompt 只改了你对模型说的话，RAG 给模型配了一个外部资料库，而 Finetune 真正改变了模型的"脑子"。成本从左到右递增，效果也是。
1.1 什么是 Finetune？
在一个已经预训练好的大模型基础上，用特定领域或任务的数据继续训练，使模型适应目标场景。
预训练（Pre-training）让模型学会了语言结构、常识知识、推理模式。Finetune 则是在这个基础上，教它"在你的业务里，任务该怎么做"。
打个比方：预训练是上大学拿到通用教育，Finetune 是入职后的岗位培训。
1.2 什么时候该用 Finetune？
一个常见误区：只要效果不好，就想微调模型，这是错误的。Finetune通常不是第一选择，而是最后的工程手段。
先判断你遇到的问题类型。
(1) 不需要 Finetune 的场景
- 知识不够：模型不知道你公司的产品细节 → 模型不需要“记住”，只需要“查到”。 用RAG，把文档喂给它检索
- 格式不对：输出格式偶尔不对 → 调Prompt，加 few-shot 示例
- 简单任务：情感分析、意图识别等简单任务 → 先试Prompt + few-shot，通常够用
(2) 需要 Finetune 的场景
风格迁移：让模型用你品牌的语气说话，每次靠 Prompt 太脆弱
复杂格式：输出必须严格遵循特定 JSON Schema，Prompt 控制不住
专业领域：法律、医疗等术语密集领域，模型经常用错术语。模型不是不知道词，而是不会正确使用语境。
降低成本：Prompt 太长导致 token 成本高，Finetune 后可以用短 Prompt 达到同样效果
提升延迟：不需要 RAG 的检索步骤，直接输出
(3) 决策流程图
用一个简单的决策树帮你判断：
一个实用原则：先用 Prompt Engineering 试，不行加 RAG，都不行再 Finetune。Finetune 的效果最好，但成本也最高。
二、Finetune 的基本原理
2.1 预训练 vs 微调
大模型的训练分两个阶段：预训练与微调。
(1)阶段一：预训练（Pre-training）
模型在海量文本上学习语言模式、世界知识、推理模式。核心任务通常是预测下一个 token（即给定前面的文字，预测下一个词）。这个阶段需要数万亿 token 的数据和数千张 GPU，成本以百万美元计。成本极高，普通团队无法参与。
(2) 阶段二：微调（Finetune）
在已有模型的基础上，用几百到几万条标注数据继续训练。数据量小得多，计算量也小得多。一张消费级 GPU 就能跑。
- 用数学的视角看：预训练给了模型一组参数θ0\theta_0θ0，Finetune 是在θ0\theta_0