基于置信度校准与增量推理的任务专用多模态问答智能体（QANTA 2026竞赛方案）

基于置信度校准与增量推理的任务专用多模态问答智能体（QANTA 2026竞赛方案）

论文原网页地址：https://arxiv.org/html/2607.09623v1

摘要

本文介绍我们参与ICML 2026研讨会QANTA多模态问答竞赛的完整参赛方案。QANTA基于知识竞赛（Quizbowl）场景设计问答评测，模型需要逐段读取递进式文本线索并配套图像，在算力开销约束下完成作答。竞赛分为两大子任务：抢答题（Tossup）需要在信息不完全、存在不确定性时自主判断作答时机；附加题（Bonus）侧重精准答案筛选与人机协同采纳率。
针对两类任务差异化目标，本文设计双智能体专用架构：

1. 抢答题智能体：采用GPT-4.1-mini轻量化基座，搭配置信度校准作答策略、数值推理防护墙，解决孤立数值线索带来模型过度自信问题；
2. 附加题智能体：基于GPT-4.1完整版模型，实现前置主题感知推理、结构化关系推理、多模态证据融合，提升精准答案输出质量。
   本方案不依赖检索流水线与模型集成，仅通过轻量化任务专属推理策略完成优化。最终总榜单得分0.402排名第一，其中抢答题得分0.238，附加题效益分0.164。实验证明轻量化、定制化推理策略在算力受限多模态问答基准上可取得顶尖效果。
   核心贡献
3. 针对QANTA双任务设计差异化双智能体问答架构；
4. 提出适配增量线索场景的置信度校准推理、数值防护策略；
5. 在官方竞赛环境完成完整消融与结果实证分析。

1 引言

QANTA 2026面向知识竞赛场景搭建多模态问答评测体系，模型需要根据逐段递进的金字塔式线索+配套图像完成推理。传统VQA基准一次性给出完整上下文，而QANTA要求模型在信息持续增量的过程中动态更新判断、自主选择作答时机，因此置信度校准、轻量化推理与答案准确率同等关键。
竞赛划分两类互补任务：

1. 抢答题：线索分段逐步展示，提前作答收益更高，但错误会扣分，需要权衡时机与正确率；部分题目附带图像，需融合图文信息；
2. 附加题：一次性提供全部上下文，侧重精准答案输出、置信度可信度、人机协同采纳效果，同样支持多模态输入。
   两类任务优化目标完全不同，因此本文提出两套专用智能体，分别适配轻量化增量推理、深度结构化多模态推理。整套方案无需检索工具与模型集成，仅依靠提示工程与推理规则优化，最终总分登顶竞赛榜单。

2 任务概述

2.1 抢答题（Tossup）

题目采用金字塔式递进线索：前期线索特征模糊、辨识度低，后期线索信息明确。模型可任意阶段触发抢答（buzz），形成收益-惩罚权衡：早答加分高，但误答扣分。部分题目附带图片（画作、地图、科学图表、带文字截图等），需要融合图文证据。核心难点：在信息不完备时判断是否具备充足证据作答。

2. 附加题（Bonus）

多分段复合题型，开头前置导语（leadin）统一全题主题、实体关联。完整上下文一次性提供，无需抉择作答时机，核心目标：精准答案、推理可解释、输出便于人类队长采信。题目同样可附带图像作为补充证据，评测引入人机协同指标，AI输出仅作为人类参考建议。

2. 评测指标体系

抢答题指标

期望得分、抢答精度、平均抢答位置、胜率（优于其余选手占比）、推理算力开销。

附加题指标

附加效益分（Bonus Effect，综合正确率+人机采纳）、单小题正确率、整题正确率、置信度匹配度、人类采纳率。
统一约束：推理延迟、API调用token总量、推理成本作为算力约束指标。

3 系统整体架构

整体分为两条独立推理链路：

1. 抢答题链路：输入流式文本+可选图像 → GPT-4.1-mini智能体 → 证据路由、置信度校准、数值防火墙、期望收益决策 → 触发抢答/等待下一线索；
2. 附加题链路：完整图文输入 → GPT-4.1智能体 → 主题前置推理、多模态证据融合 → 输出答案+简短证据说明。

3.1 三大设计原则

1. 任务专用化：两类任务优化目标不同，分开建模，不使用统一提示模板；
2. 置信度优先：校准模型预测可信度，避免过度自信误触发抢答；
3. 轻量化多模态融合：文本生成候选，图像仅做校验消歧，减少图文并行推理开销。

3.2 抢答题智能体流程

逐段接收增量线索，每轮输出答案+0~1数值置信度P(correct)P(\text{correct})P(correct)；基于期望收益公式判断是否抢答，搭配数值推理防护墙抑制数值线索过度自信。

3.3 附加题智能体流程

先解析导语锁定全局主题约束，再逐段推理；采用晚融合多模态策略：文本生成候选，图像交叉核验修正置信度；输出精简答案+简短证据，提升人类采纳率。

3.4 多模态证据路由策略

不将图文同等权重处理：文本作为核心假设来源，图像仅做辅助消歧。推理流程：文本生成候选集合 → 图像信息交叉校验 → 匹配则提升置信，冲突则降低置信，大幅减少无意义多模态计算。

4 抢答题专用智能体（Glint）

4.1 基座选型

选用GPT-4.1-mini，兼顾推理速度、API成本与基础准确率；抢答题需要数十轮增量迭代推理，轻量化模型是算力约束下最优选择。智能体设定为专业知识竞赛选手，每轮新增线索更新候选答案，避免依靠少量模糊线索下定论。
图像仅作为辅助校验，不主导推理。

4.2 置信度校准抢答决策

核心决策公式：
EV=P(正确)−0.5×P(错误)EV = P(\text{正确}) - 0.5 \times P(\text{错误})EV=P(正确)−0.5×P(错误)
EV代表期望收益，匹配竞赛扣分规则（答错扣一半答对得分）。
硬性置信门限：仅当模型输出置信P(correct)≥0.90P(\text{correct}) \ge 0.90P(correct)≥0.90时才允许抢答。开发集实验证明0.9以下置信对应的假设极不稳定，容易误判。

4.3 数值推理防火墙（Numeric Firewall）

模型常见失效模式：仅依靠孤立数字、公式、测量值就给出高置信预测，提前抢答扣分。
防护规则：仅当数值线索满足以下任一配套上下文时，置信度才允许提升至0.9以上：

1. 配套专属实体名称；
2. 完整公式体系；
3. 多条独立线索指向同一结论。
   纯数字线索仅保留基础低置信，杜绝仅凭数值过度自信抢答。

4.4 迭代优化与典型错误

三版迭代优化路径：

1. 优化目标从单纯正确率改为期望收益最大化；
2. 增加数值防火墙修复理科类误抢答；
3. 上调置信门限，降低模糊线索误触发。
   高频错误：模糊主题线索提前抢答、近义实体混淆、孤立数字高置信；通过置信门限、线索判别提示词缓解。

4.5 抢答题官方评测结果

表1 抢答题完整指标

5 附加题专用智能体（Guild）

5.1 基座选型

采用完整版GPT-4.1，附加题无需多轮增量推理，更看重长文本关联、多模态细粒度消歧、可解释输出，大模型推理能力收益更高。智能定位为答案检索消歧工具，输出结构化精简内容。

5.2 前置主题感知推理

优先解析导语锁定全题统一主题、实体类别，约束后续每小题候选答案范围，避免跨主题混淆，大幅提升多分段题目一致性。

5.3 多模态晚融合流水线

1. 文本线索生成候选答案集合；
2. 解析图像（图表、画作、OCR文字）交叉核验所有候选；
3. 图像佐证则提升置信，矛盾则剔除候选。
   图像仅做二次校验，不独立生成假设，节省算力。

5.4 人机采纳优化设计

人类队长仅参考AI输出，冗长、模糊解释会降低采信率。约束输出规范：

1. 核心答案前置；
2. 附带简短证据与明确置信分数；
3. 剔除冗余修饰语句，便于快速核验。

5.5 迭代优化与典型缺陷

初代版本解释文本冗长，采纳率偏低；迭代后精简结构化输出，同时增加实体消歧逻辑。多模态类错误通过图文交叉校验缓解。

5.6 附加题官方评测结果

表2 附加题完整指标

6 完整竞赛综合实验

6.1 实验环境

基于QANTA 2026官方托管API评测平台，两套智能体分别提交版本：抢答题QANTA41Mini_V1、附加题QANTA41_Bonus_V1，所有推理调用官方托管模型API，无本地微调、无第三方检索工具。

6.2 总榜单成绩

表3 综合榜单

7 误差分析与实验讨论

7.1 置信度门限消融实验

开发集消融（表4）证明门限直接决定抢答精度与期望收益：

7.2 近义实体混淆问题

竞赛高频难点：前期线索仅给出大类主题，多个近义实体均符合描述，模型容易提前锁定错误同类实体（文学人物、宗教派系、历史时期）。解决方案提示词强化独有区分线索优先，无唯一标识时保持低置信、延后抢答。

7.3 核心实验结论

1. 抢答题场景中，置信度校准优先级高于单纯答案正确率；
2. 轻量化专用提示策略效果优于复杂长推理链路；
3. 多模态采用“文本为主、图像辅助校验”融合方案算力效率更高；
4. 领域专用防护规则（数值防火墙）可针对性修复模型系统性错误。

8 结论

本文针对QANTA 2026知识竞赛多模态问答任务设计双任务专用智能体架构：轻量化GPT-4.1-mini抢答题智能体搭配置信度校准、数值防火墙实现增量线索下稳定抢答决策；完整版GPT-4.1附加智能体依托主题前置推理、图文晚融合输出高采信度结构化答案。
整套方案无需检索、模型集成，仅依靠定制推理规则，综合得分0.402登顶竞赛榜单。误差分析证明置信度校准、实体消歧、轻量化多模态融合是增量问答场景三大核心优化方向。未来可进一步优化细粒度实体区分、自适应动态置信门限、更强数值推理防护。

附录 完整复现、工程实现细节

A.1 基座模型分配

1. Glint（抢答题智能体）：GPT-4.1-mini，适配多轮增量低延迟推理；
2. Guild（附加题智能体）：GPT-4.1完整版，负责多段长文本、多模态深度推理。

A.2 智能体核心职责

Glint 抢答题智能

逐段读取增量线索，更新候选答案，输出置信分；满足0.9门限触发抢答；内置数值防火墙抑制纯数字高置信。

Guild 附加智能

解析导语锁定全局主题，图文交叉核验，输出精简答案+简短可解释证据，优化人类采纳率。

A.3 提示词设计三大准则

1. 独有区分线索优先推理，弱化宽泛主题关联；
2. 答案前置、解释精简，降低人类阅读成本；
3. 先解析全局导语，约束全题答案语义范围。

A.4 置信决策完整规则

模型输出P(correct)P(\text{correct})P(correct)仅作为决策参考，非严格概率；抢答硬性阈值0.9，低于阈值持续等待下一段线索。

A.5 数值防火墙完整规则

仅存在命名实体/完整公式/多条独立佐证时，置信允许突破基础阈值；孤立数字、测量值不允许高置信抢答。

A.6 多模态晚融合完整流程

1. 文本线索生成候选实体集合；
2. 解析图像OCR、图表、画风等信息；
3. 图像匹配候选→提升置信；图像冲突→剔除候选；
4. 交叉核验后输出最终答案与置信。

A.7 评测环境说明

全部推理运行QANTA官方托管API，不本地部署模型；抢答题逐段流式输入，附加题一次性完整图文输入。

A.8 补充竞赛统计（表5）