【多模态大模型——跨越感知与认知的鸿沟】第5章 验证阶段：自我修正与一致性检查
5.1 多步推理中的验证机制
5.1.1 自我验证的认知架构
5.1.1.1 ReSelfVerMM的自验证框架：多步推理与预测反思
ReSelfVerMM框架在视觉指令微调阶段引入自我验证能力，将推理过程分解为逻辑步骤序列并实施逐层监控。每一步推理生成后，验证子程序立即评估当前结论与前提条件的一致性。验证器采用二元分类结构，输入包含当前步骤的隐藏状态、引用的视觉区域特征以及历史推理上下文，输出该步骤有效性的概率估计。预测反思机制在最终答案生成前回顾完整推理链，通过双向注意力扫描识别逻辑断裂点和证据缺失环节。验证信号作为强化学习的奖励信号，通过策略梯度优化验证器的判别阈值。框架采用对抗式训练策略，生成器尝试构造看似合理但包含隐藏错误的推理路径，验证器学习识别这些刻意伪造的逻辑缺陷。
Lverify=−s=1∑S[yslogσ(wvThs)+(1−ys)log(1−σ(wvThs))]
5.1.1.2 记忆空间视觉回溯（MEMVR）的再观察机制
MEMVR机制在解码阶段维护显式记忆缓冲区，存储历史步骤访问的视觉特征和注意力分布。当生成涉及历史视觉参照的描述时，系统从记忆空间检索对应的视觉表征，通过注意力重构实现时空一致性验证。回溯过程计算当前查询与历史视觉记忆的相似度匹配，相似度低于阈值时触发重新观察流程。重新观察对特定图像区域进行二次编码，更新记忆缓冲区中的过时表征。记忆空间采用键值对结构，键为语义查询向量，值为视觉特征张量，支持基于内容的快速检索。该机制突破了标准自回归解码的因果约束，允许非单调修正，即后续生成可修改先前步骤的视觉解释。
M={(k