苹果SSD方法：解锁大模型代码生成能力的简单之道
【导语：当前AI大模型代码能力提升面临诸多制约，苹果团队提出“简单自蒸馏”（SSD）方法。该方法在多个模型上取得稳定提升效果，为大语言模型代码生成能力提升提供新方向。】
苹果团队提出的“简单自蒸馏”（SSD）方法，以特定温度和截断配置从模型自身采样解决方案，直接用未经验证样本进行标准监督微调。实验显示，在LiveCodeBench v6基准测试中，Qwen3 - 30B - Instruct模型的pass@1指标从42.4%提升至55.3%，相对提升幅度达30.4%。在更大的LCB v5基准测试中，该模型的pass@1也从45.8%提升至54.3%，增加了8.5个百分点。
这种提升具有普遍性，不仅在Qwen系列模型上有效，在Llama系列模型上也表现良好，覆盖了4B、8B和30B等多种不同规模的模型，无论是Instruct版本还是Thinking版本，应用SSD后都能获得性能提升。
SSD的实施流程包含三个步骤。首先是数据合成，从基础模型中以较高温度和特定截断配置采样生成代码解决方案，每个问题仅采样一个解；接着进入训练阶段，直接使用未经验证的原始输出作为目标进行标准监督微调；训练完成后，使用经过微调的模型，并在特定解码参数配置下进行评估测试。
该方法的显著特点是整个过程完全不依赖代码执行环境或测试用例来验证答案的正确性，也不需要引入更强的教师模型，更不涉及复杂的强化学习算法。在数据合成阶段，无需过滤掉错误的解，模型生成的所有原始输出都会直接用于训练。
代码生成过程中存在“锁”和“叉”两类特定位置，固定的全局解码温度难以同时满足精确性和探索性的要求。低温设置能确保“锁”的精确，但会限制“叉”的多样性；高温设置虽然能促进“叉”的探索，却会破坏“锁”的稳定性。
SSD通过高温采样结合截断操作，重塑了模型内部的概率分布，抑制了“锁”低概率的干扰项，保留了“叉”多种合理的可能性。研究人员通过极端实验验证，即便训练数据质量极低，SSD依然能提升模型性能，证明其有效性源于对概率分布的重塑。
编辑观点：苹果的SSD方法为提升大模型代码生成能力提供了新思路，简单且有效，不依赖复杂验证与算法，挖掘出模型潜藏能力，有望推动大模型代码生成领域的发展。