Antidoom方法：修复小模型推理死循环的FTPO优化技术

1. 先搞清楚推理模型为什么会陷入死循环

如果你跑过小参数规模的推理模型（比如2B到7B的数学解题、代码生成类模型），大概率遇到过这种情况：模型开始输出“Wait, let me reconsider...”“Alternatively...”“So...”这类自我反思的标记，然后反复重复同一段话，直到上下文窗口被填满，就是不给最终答案。这就是典型的“doom loop”（死循环）现象。

Liquid AI 开源的 Antidoom 方法，核心不是增加新能力，而是修复这种推理卡壳。它特别适合处理长思维链任务，比如多步数学证明、复杂代码调试、逻辑推演等场景。小模型因为参数有限，在遇到难题时更容易陷入这种循环。

死循环通常由三个机制共同导致：

机制一：某些标记被过度训练在推理模型中，像“Wait”“Alternatively”“So”“But”这类表示策略转换的标记，在训练数据中出现频率远高于普通文本。当模型不确定下一步该怎么走时，这些高概率标记就成了安全选择，导致模型不断回到相同的思考起点。

机制二：上下文自我强化一旦循环开始，每次重复都会让相同标记的概率趋近于1。就像陷入思维定式，越重复越难跳出。

机制三：贪婪采样加剧问题推理任务通常使用低温采样（temperature=0或接近0）来保证结果可复现。但在低温下，模型只会选择概率最高的标记，一旦循环开始就没有逃生通道。

Antidoom 的修复思路很直接：不改变模型整体能力，只针对触发循环的第一个标记进行微调，让模型在那个关键位置选择更合理的续写选项。

2. Antidoom 怎么定位和修复死循环点

2.1 死循环检测标准

Antidoom 定义死循环的检测标准是：同一段文本重复至少4次，且总长度超过60字符。这个阈值能较好平衡误判和漏判。

检测到循环后，关键步骤是定位第一个重复段的起始标记。比如模型输出：

Step 1: Calculate x. Wait, let me check... Step 1: Calculate x. Wait, let me check...

第一个“Wait”就是需要干预的位置。

2.2 构建训练数据对

在触发位置，Antidoom 会提取模型预测概率最高的k个候选标记，过滤掉无意义的短标记或符号，保留最多20个合理的替代选项作为“chosen”（优选标记），而原本导致循环的标记作为“rejected”（拒绝标记）。

这样就形成了一个训练样本：

• 前缀：循环开始前的完整文本
• 拒绝标记：触发循环的那个词
• 优选标记：一组合理的替代词

这种构造方式确保训练只影响特定位置的标记分布，不会破坏模型其他能力。

2.3 Final Token Preference Optimization (FTPO) 核心差异

FTPO 和常见的 DPO（直接偏好优化）有几个关键区别：

只训练序列的最后一个标记传统偏好优化通常针对完整序列，而 FTPO 只调整循环起始点的单个标记分布。这就像精确手术，只切除问题细胞。

支持多个优选标记一个样本可以对应多个合理替代标记，避免“拆东墙补西墙”——不要用一个过度训练的标记替换另一个。

在logit空间计算KL散度跳过softmax，直接在logit层面计算分布差异，减少对无关标记的梯度影响。

两部分正则化对需要调整的标记（优选和拒绝）放宽约束，让它们能有效学习；对其他标记保持严格约束，维持模型原有分布。

这种设计让 Antidoom 在修复死循环的同时，几乎不影响模型原有的推理能力。

3. 实际训练配置和参数选择

3.1 训练超参数设置

Antidoom 通常使用LoRA进行单轮训练，但需要较高的rank值（128-256）。这与常规LoRA训练（rank=8-64）不同，因为需要更灵活地调整标记分布。

关键参数范围：

• 学习率：4e-6 到 2e-5（比全参数微调低1-2个数量级）
• 训练层：所有注意力层、MLP投影层和lm_head
• 批量大小：根据GPU内存调整，通常32-128

3.2 早停策略基于chosen_win指标

训练过程中监控chosen_win指标（优选标记胜率），当达到0.35左右时停止。这意味着在35%的样本中，优选标记的概率已经超过拒绝标记。

过度训练会适得其反。实验显示，训练时间过长可能引入新的死循环模式。单轮训练通常能在1-2小时内将死循环率从20-30%降至1-2%。

3.3 资源需求估算

对于26亿参数的模型：

• 训练数据生成：8×MI325 GPU约1小时（取决于原始死循环率）
• 模型训练：1×MI325 GPU约1-2小时

如果要在消费级GPU上运行，需要相应调整批量大小和梯度累积步数。24G显存的卡通常能处理7B模型的Antidoom训练。

4. 效果验证和温度参数的影响

4.1 死循环率大幅下降

在LFM2.5-2.6B早期检查点上：

• 训练前：10.2%的数学和编程提示词触发死循环
• 训练后：降至1.4%

更重要的是，评估分数全面提升。这证明模型本身有能力解决问题，只是被死循环阻碍了输出。

4.2 温度参数的意外发现

修复死循环后，温度参数的影响模式发生了变化：

修复前：温度越高，死循环越少，评估分数越高。这导致人们误以为高温采样有利于推理。

修复后：在temp=1.0附近性能反而下降，最佳性能出现在接近贪婪采样（temp=0.1-0.3）的区域。

这说明之前的“高温有益”直觉可能是错误的，只是高温帮助模型逃出了死循环，但牺牲了推理的连贯性。

4.3 多轮修复策略

第一轮Antidoom训练后，原本导致循环的标记被抑制，但可能暴露出其他标记的问题。比如修复了“Wait”引发的循环后，“Alternatively”可能成为新的循环点。

因此实践中可以采用迭代修复：训练→评估→发现新循环模式→再次训练。通常2-3轮后死循环率会稳定在很低的水平。

5. 实际应用时的注意事项

5.1 什么情况下需要考虑Antidoom

如果你的推理模型出现以下情况，Antidoom值得一试：

• 在长思维链任务中频繁重复相同短语
• 低温采样时问题更严重
• 模型似乎“卡住”在某个思考阶段
• 手动调整repetition_penalty效果有限或损害性能

5.2 训练数据的选择

Antidoom的效果很大程度上取决于用于诱发死循环的提示词集。理想情况下，应该使用与你的实际应用场景相似的难题集。

Liquid AI提供了antidoom-mix-v1.0作为起点，但针对特定领域（如数学证明、代码调试）最好构建专属的提示词集。

5.3 与其他技术的配合使用

Antidoom可以与其他推理优化技术结合：

与推理时间技巧配合即使经过Antidoom训练，在推理时仍可适度使用repetition_penalty（比如1.05-1.1），作为额外保险。

与思维链验证结合对于关键任务，可以设置输出验证：检测到重复模式时自动截断并重新生成。

与模型集成方案对于生产环境，可以保留原始模型和Antidoom修复版，根据任务难度动态选择。

5.4 监控和迭代

部署后需要持续监控：

• 死循环率是否保持在低位
• 是否有新类型的重复模式出现
• 模型整体性能是否稳定

建议建立自动化测试集，定期运行评估，及时发现退化问题。

Antidoom最大的价值在于它的针对性——不像传统微调那样改变模型整体行为，而是精确修复特定故障模式。这种“微创手术”式的优化思路，为推理模型的稳定性提升提供了新方向。