SFT与RL：AI训练的黄金搭档，何时介入才能事半功倍？
本文探讨了SFT（监督微调）和RL（强化学习）在AI训练中的协同作用。SFT负责建立模型的基础能力，确保其遵循格式和指令；RL在此基础上优化输出质量，使其更符合人类使用习惯。文章详细分析了何时进行RL训练最为合适，以及过早或过晚进行RL训练可能带来的问题。此外，还介绍了主流的训练路径和不同场景下的简单经验，为AI模型的优化提供了实用指导。
SFT 负责建立基础能力（格式、指令遵循），RL 在此基础上优化输出质量。两者不能互相替代。过早做 RL 会导致训练崩溃，过晚做又会浪费算力。
一、做RL的目的是啥，和SFT有啥区别？
强化学习的本质是在已有策略的基础上，通过奖励信号进行局部优化。这意味着：RL 不是用来教会模型"能做什么"，而是用来优化"怎么做得更好"。
对比维度
| 对比维度 | SFT（监督微调） | RL（强化学习/RLHF/DPO） |
|---|---|---|
| 核心目标 | 让模型听懂指令、按要求输出 | 符合人类使用习惯，优化生成质量，强化安全合规 |
| 学习机制 | token level学习目标内容，复刻指令对应的回答模式 | 以sequence level粒度，依据外界反馈调整生成策略 |
| 数据要求 | 需准备“instruction+answer”的高质量配对样本 | 需整理同一问题下“choosen/reject”回答的排序数据 |
| 实际效果 | 稳住输出底线，避免模型胡乱作答、脱离指令 | 突破基础baseline，让回答更精准、更符合预期 |
SFT没训好直接RL会有什么后果
如果 SFT 后的模型连基本任务都完成不了，RL 的探索空间会过大，奖励信号过于稀疏，训练会陷入：
- 低奖励陷阱：模型几乎拿不到正向奖励，梯度信号微弱
- 策略崩塌：模型为了避免惩罚，退化到输出安全但无意义的内容
- KL 散度爆炸：策略更新幅度过大，偏离参考模型太远
二、什么时候可以停止 SFT
1. 格式和能力已对齐了
- 能按要求输出指定格式（JSON、代码块等），不会答非所问
- 比如指令理解准确率 > 85%
如果这些还没达到，RL 只会放大问题。
2. 性能达到上限
- 验证集Loss稳定，不再有波动
- Pass Rate、准确率等关键指标多轮不再提升
- 继续加数据出现过拟合（训练集 Loss 降，验证集 Loss 不降甚至反升）
同时SFT 的上限由数据集质量决定，继续堆数据边际收益会越来越低。
3. pass@k 明显高于 pass@1
两者差距大，说明模型知道正确答案的形态，但输出不稳定。RL 可以把"偶尔正确"变成"稳定正确"。也不是pass@1 低就不能做 RL，可以观察pass@k / pass@1 的比值判断RL可以做的程度有多少
三、当前的一些主流训练路径
Deepseek R1训练过程，从 DeepSeek-R1-Zero 的纯 RL 探索，到 DeepSeek-R1 的“冷启动数据 -> 第一阶段 RL -> 拒绝采样与 SFT -> 第二阶段 RL”的pipeline
冷启动 SFT：用几千到几万条高质量样本建立基础。比如数据构成参考这个配比：指令遵循 30%、知识问答 30%、推理任务 20%、安全对齐 20%
RL 阶段：
Reasoning RL（代码、数学）：以结果校验为奖励信号，GRPO 或 PPO
Preference RL（主观任务、对齐）：用 Reward Model 或人类排序数据
循环迭代：收集 RL 筛选出的高质量样本，回头补一轮 SFT，再继续 RL。DeepSeek-R1 和 Qwen2.5-Math 都走了这条路。
四、来自不同场景的一些简单经验
1. 代码生成任务
SFT 目标： 模型能生成语法正确、逻辑基本合理的代码
一般判断指标：
- HumanEval / MBPP 上 pass@1 > 30%
- 语法错误率 < 10%
- 能正确处理简单的边界条件
RL 切入点：
- 用单元测试作为奖励信号（通过测试 = +1，否则 = 0）
- 引入过程奖励（如 HCAPO），对关键步骤（如循环条件、递归终止）给予额外奖励
2. 多模态推理任务
SFT 目标： 模型能看懂图片，生成与图像相关的回答
判断指标：
- 简单视觉问答（如"图中有几个苹果"）准确率 > 60%
- 能生成包含视觉细节的描述（不是泛泛而谈）
- 推理链中会引用图像内容（如"根据图中的三角形"）
RL 切入点：
- 结合 GRPO 优化答案准确性
参考案例： Qwen3-VL 的强化微调，SFT 后在 MathVista 上约 45% 准确率，GRPO 后提升到 58%。
3. 长程 Agent 任务
SFT 目标： 模型知道如何调用工具，能完成简单任务
判断指标：
- 单步工具调用成功率 > 70%
- 5-10步任务完成率 > 30%
- 能生成合法的工具调用参数（JSON 格式正确）
RL 切入点：
- 引入过程奖励模型（PRM），对每一步动作打分
案例： OpenClaw-RL 在工具调用任务上，SFT 后完成率 17%，引入 PRM 的 RL 后提升到 30%。
AI行业迎来前所未有的爆发式增长：从DeepSeek百万年薪招聘AI研究员，到百度、阿里、腾讯等大厂疯狂布局AI Agent，再到国家政策大力扶持数字经济和AI人才培养，所有信号都在告诉我们：AI的黄金十年，真的来了！
在行业火爆之下，AI人才争夺战也日趋白热化，其就业前景一片蓝海！
我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓
人才缺口巨大
人力资源社会保障部有关报告显示，据测算，当前，****我国人工智能人才缺口超过500万，****供求比例达1∶10。脉脉最新数据也显示：AI新发岗位量较去年初暴增29倍，超1000家AI企业释放7.2万+岗位……
单拿今年的秋招来说，各互联网大厂释放出来的招聘信息中，我们就能感受到AI浪潮，比如百度90%的技术岗都与AI相关！
就业薪资超高
在旺盛的市场需求下，AI岗位不仅招聘量大，薪资待遇更是“一骑绝尘”。企业为抢AI核心人才，薪资给的非常慷慨，过去一年，懂AI的人才普遍涨薪40%+！
脉脉高聘发布的《2025年度人才迁徙报告》显示，在2025年1月-10月的高薪岗位Top20排行中，AI相关岗位占了绝大多数，并且平均薪资月薪都超过6w！
在去年的秋招中，小红书给算法相关岗位的薪资为50k起，字节开出228万元的超高年薪，据《2025年秋季校园招聘白皮书》，AI算法类平均年薪达36.9万，遥遥领先其他行业！
总结来说，当前人工智能岗位需求多，薪资高，前景好。在职场里，选对赛道就能赢在起跑线。抓住AI风口，轻松实现高薪就业！
但现实却是，仍有很多同学不知道如何抓住AI机遇，会遇到很多就业难题，比如：
❌ 技术过时：只会CRUD的开发者，在AI浪潮中沦为“职场裸奔者”；
❌ 薪资停滞：初级岗位内卷到白菜价，传统开发3年经验薪资涨幅不足15%；
❌ 转型无门：想学AI却找不到系统路径，83%自学党中途放弃。
他们的就业难题解决问题的关键在于：不仅要选对赛道，更要跟对老师！
我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓