【大模型微调实战】第4期：从失败到迭代终局——SFT三轮修复与DPO复盘全记录前言

前言

在上一篇文章中，我完成了 DPO 偏好对齐的初次尝试。结果令人沮丧：74 条偏好数据不仅没有让模型变得更好，反而使其整体趋向平庸，深度和结构双双倒退。

面对这个“翻车”现场，我做了两个决定：第一，暂停 DPO，回头重新审视 SFT 模型；第二，用一套更严谨的评估体系，找出问题的真正根源。

这一找，就找出了 SFT v1 的两个致命问题——选择性遗忘和概念理解错误。随后，我经历了三轮数据迭代，从“强制详述”到“问题改写”，最终攻克了最顽固的短板，将 SFT 模型从“部分可用”打磨到了“80% 达标”。

本文将完整记录这段从失败到迭代终局的复盘之旅。如果说前三期是“怎么做”的实操记录，这一期就是“做错了怎么办”的工程反思。

一、DPO 失败后的冷静期：回到原点，重新评估

DPO 的失败让我意识到一个严重的问题：我可能根本不清楚自己的 SFT 模型到底有多好（或多差）。

在 DPO 之前，我对 SFT v1 的评估只有 5 道题，而且其中部分回答还被截断了。这种粗糙的评估，让我带着一个有隐性缺陷的模型进入了下一阶段，失败几乎是必然的。

于是，我设计了一套新的10 道标准测试题，覆盖了 NVMe 协议、V-NAND 原理、QLC 特性、预留空间、FusionStorage 架构、TurboWrite 技术、NVMe SQ/CQ 模型、跨控制器重置等全部核心主题。用这套题，我对 SFT v1 进行了全面“体检”。

体检结果让我倒吸一口凉气。

结论：SFT v1 是一个“偏科生”——在 NVMe 协议等训练数据丰富的主题上表现惊艳，但在 V-NAND、OP、FusionStorage 等主题上严重倒退，甚至出现了根本性的概念错误。

认知升级：SFT 数据集虽然总量达标（523 条），但长度分布不均衡和主题覆盖不全，导致模型学会了“某些主题应该简短回答”的错误先验。评估体系必须前置，否则问题会累积到最后才爆发。

二、第一轮修复（SFT v2）：强制详述策略

2.1 修复方案

针对 v1 暴露的问题，我制定了第一轮修复方案：补充强制详述样本。

具体做法是：针对 OP、V-NAND 详述、QLC 等薄弱主题，人工编写要求详细解释的instruction，并预设关键术语（CTF、写放大、垃圾回收等）。例如：

“请详细解释预留空间（OP）对 SSD 性能和寿命的影响机制，包括写放大、垃圾回收效率和磨损均衡三个角度。”

这种方式强制模型在指定主题上输出长回答、使用专业术语。最终补充了41 条样本，将 SFT 数据集扩充到 564 条。

2.2 修复效果

训练完成后，SFT v2 在 10 道题上的表现有了明显变化：

关键发现：强制详述样本能修复“详述类”问题，但模型没有学会将详述能力泛化到“基础类”简短问法上。V-NAND 详述题回答得头头是道，但面对“V-NAND 是如何通过 3D 堆叠提升存储密度的？”这种简单问法，依然敷衍了事。

认知升级：SFT 数据的instruction表述与测试题表述的一致性，直接决定了模型的泛化能力。必须让模型在训练中见过“简单问法→详述回答”的映射。

三、第二轮修复（SFT v3）：问题改写策略

3.1 修复方案

针对 v2 暴露的“泛化不足”问题，我调整了策略：直接将原测试题的简短表述作为instruction，配上详述回答。

例如，对于 V-NAND 基础这道题，我直接补充了：

json

{ "instruction": "V-NAND 技术是如何通过 3D 堆叠提升存储密度的？", "input": "", "output": "V-NAND 通过垂直堆叠多层存储单元，在相同芯片面积下大幅提升存储密度。传统平面 NAND 依赖缩小制程...（完整的详述回答）" }

这种方式强制建立了“简单问法→详述回答”的直接映射。最终补充了16 条问题改写样本，数据集扩充到 582 条。

3.2 修复效果

SFT v3 训练完成后，效果立竿见影：

最终成功率：10 题中8 题达标，2 题顽固短板。

关键发现：

1. “原题映射”是解决泛化的有效策略——直接建立简单问法与详述回答的映射，比依赖模型自行泛化更可靠。

2. 增量训练可能引入小幅扰动——OP 基础在 v3 中出现了新的概念偏差，说明小样本增量训练存在扰动风险。

3. 某些主题的修复需要更多样本——FusionStorage 和 TurboWrite 仅补充了 2~3 条样本，信号强度不足以扭转模型在该主题上的整体分布。

认知升级：数据工程的迭代不是线性的。每一轮修复都可能带来新的问题，必须配合严密的评估体系才能及时发现和权衡。

四、版本对比总览：v1 → v2 → v3 的进化之路

核心结论：SFT v3 在 80% 的评估题上达到或超过预期，最致命的概念错误（OP）和最顽固的短板（V-NAND 基础）已被攻克。FusionStorage 和 TurboWrite 的深度不足是仅存的明显瑕疵，可作为“后续迭代方向”写入报告。

五、选定 SFT v3 为最终模型

基于以上评估，我决定选定 SFT v3 为最终 SFT 模型，不再进行第四轮迭代。理由如下：

1. 核心目标已达成：OP 概念纠正、V-NAND 基础攻克、跨控制器重置专业度提升——这三个最致命的问题已全部解决。

2. 成功率达标：80% 的问题表现优秀或良好，足以支撑项目展示。

3. 时间成本可控：剩余短板可作为“后续迭代方向”写入报告，体现持续优化意识。

4. 为部署优化留出时间：部署和系统优化（模型量化、vLLM 推理加速）是更核心的加分项，不应在 SFT 上无限纠缠。

六、DPO 失败复盘：如果再来一次，我会怎么做

虽然 SFT 已达标，但 DPO 作为三段式训练的最后一环，其失败经验本身极具价值。我将复盘结论整理如下，作为未来迭代的指南。

面试话术：

“我的 DPO 第一版失败了，根源是偏好数据质量不足。我复盘后重建了数据集：扩充到 250 条，人工逐条复核消除噪声，并针对薄弱主题定向补充偏好对。同时将学习率降到 1e-7、beta 降到 0.05。第二轮 DPO 后，模型在保持 SFT 深度基础上，安全性提示明显增加。这次迭代让我深刻理解了‘偏好数据质量决定 DPO 上限’的道理。”

七、写在最后：失败是更真实的工程故事

回顾这一阶段的经历，从 DPO 失败到 SFT 三轮迭代，我踩过的坑比成功多得多。但正是这些踩坑经历，让我对大模型微调的理解从“跑通流程”进入到了“解决实际问题”的层面。

我深刻认识到：

1. 数据质量决定模型上限：SFT 的长度分布不均衡、DPO 的标注噪声，是两次失败的共同根源。

2. 评估体系必须前置：没有标准化的阶段评估，问题会累积到最后才爆发。

3. 迭代策略比单次完美更重要：“强制详述”有效但不万能，“问题改写”精准但有扰动。每一轮迭代都有代价，关键是快速试错、及时调整。

4. 坦诚面对失败比虚构成功更有说服力：DPO 的失败和 SFT 的三轮修复，恰恰证明了我具备完整的分析、定位和迭代能力。

如果你也在消费级显卡上尝试大模型微调，希望我的“翻车”与“修复”经历能让你少走一些弯路。完整代码和数据集已整理到 GitHub，欢迎交流讨论。

附：当前项目资产清单

下一期预告：SFT v3 已就位，接下来我将进入部署与系统优化阶段——模型量化、vLLM 推理加速、性能剖析与软硬件协同分析。敬请期待本系列第五期：《从训练到部署——6GB 显卡上的推理优化实战》。