2025_NIPS_Sherlock: Self-Correcting Reasoning in Vision-Language Models

文章核心总结与翻译

一、主要内容

本文针对视觉语言模型（VLMs）在推理任务中存在的易受推理错误影响、依赖大量标注数据、泛化能力弱等问题，提出了名为Sherlock的自校正与自改进训练框架。该框架通过轨迹级自校正目标、基于视觉扰动的偏好数据构建方法和动态β偏好调优，仅使用20k标注数据即可让模型获得自校正能力，后续无需外部监督即可实现自改进。基于Llama3.2-Vision-11B模型的实验表明，Sherlock在8个基准测试中平均准确率达64.1（直接生成）和65.4（自校正后），优于LLaVA-CoT、Mulberry等现有模型，且标注数据用量不足这些模型的20%。

二、创新点

1. 首次深入分析了推理型VLMs的自校正能力，发现现有模型（无论SFT还是RL训练）在步骤级和响应级自校正中表现极差，不足10%的样本能出现自校正信号且多数无法修正错误。
2. 提出轨迹级自校正目标，仅修正推理轨迹中的错误后缀而非整个响应，提供更精准的学习信号。
3. 设计基于视觉扰动的偏好数据构建方法，通过可控的质量差距生成偏好样本，无需额外验证器或大规模评论数据。
4. 引入动态β参数适配样本质量差距，稳定偏好训练过程，同时实现无外部监督的迭代自改进。

三、核心部分翻译（Markdown格式）

Abstract（摘要）

推理型视觉语言模型（VLMs）在复杂多模态任务中展现出良好性能，但仍面临重大