超越VQA：GQA数据集如何用‘场景图’和‘功能表示’解决视觉推理三大痛点
GQA数据集：用结构化思维重塑视觉推理评估基准
当我们在手机上询问智能助手"这张照片里穿红色衣服的人手里拿着什么"时，背后是视觉问答(VQA)技术十余年的演进。但直到2019年斯坦福团队推出GQA数据集，这个领域才真正拥有了能系统评估模型推理能力的试金石。不同于早期数据集让模型靠统计规律"猜答案"的缺陷，GQA通过场景图(scene graph)和功能表示(functional representation)两大创新，将视觉推理分解为可解释的步骤链。
1. 传统VQA数据集的三大致命伤
2018年前的主流VQA数据集存在三个结构性缺陷，直接限制了模型能力的真实评估：
语言先验偏差：就像考试题库泄露后，学生只需背答案不需理解原理。当"桌子的材料"在训练集中80%答案是"木头"，模型会直接忽略图像内容输出高频答案。我们团队曾统计发现，在某些数据集上，仅用问题文本预测答案的准确率就能达到58%。
组合推理缺失：早期问题多停留在"这是什么颜色？"的单一物体识别层面。但真实场景的问题往往像这样复杂：
"左侧穿蓝衬衫的人右手拿着的金属物体是什么？"这需要模型串联完成：人物检测→服装识别→左右判断→手持物分类→材质判断五个推理步骤。
细粒度标注空白：当模型回答错误时，研究者难以定位是哪个环节出错。就像知道考试不及格，却不清楚是选择题还是计算题失分。缺乏问题与图像区域的对应标注，导致模型改进像在黑箱中摸索。
提示：这三个缺陷形成恶性循环——有偏数据训练出取巧模型，简单问题掩盖推理短板，模糊标注阻碍问题诊断。
2. GQA的构造哲学：从场景图到平衡分布
2.1 场景图：视觉元素的语义网络
GQA以Visual Genome的场景图为基础，将图像解构为机器可处理的语义网络。一张早餐桌场景可能包含：
| 节点类型 | 示例 | 作用 |
|---|---|---|
| 对象 | 杯子、面包机 | 视觉实体基础单元 |
| 属性 | 陶瓷材质、红色 | 细化对象特征 |
| 关系 | 杯子在面包机左侧 | 空间/逻辑关联 |
这种结构化表示带来三个优势：
- 组合生成：通过遍历场景图节点和边，自动生成需要多步推理的问题
- 答案可溯：每个答案都能追溯到具体的对象属性或关系链
- 偏差控制：统计各属性的出现频率，避免某些答案过度集中
2.2 功能表示：推理的原子操作
GQA最革命性的创新是将每个问题分解为功能表示——就像程序员把复杂功能拆解为基本指令。以问题"金属物体是否比木质物体多？"为例，其功能表示可能是：
- 检测所有物体材质(
filter_material) - 统计金属物体数量(
count_metal) - 统计木质物体数量(
count_wood) - 比较数量(
greater_than)
这种表示法实现了：
- 可解释性：清晰展示模型应有的推理路径
- 可组合性：基础操作可重组为新问题类型
- 可验证性：可检查模型在每个子步骤的表现
3. 数据构造的四大关键技术
3.1 场景图精炼
直接从Visual Genome提取的场景图存在噪声，GQA通过以下流程优化：
- 对象合并：将"犬"、"狗"等同义词统一标准化
- 属性过滤：保留视觉可验证的属性（如颜色、材质）
- 关系验证：人工校验空间关系（如"上方"需满足y坐标差>阈值）
3.2 问题生成算法
采用模板填充与神经网络结合的方式：
# 伪代码示例：基于场景图生成问题 def generate_question(scene_graph): topic = random.choice(["object", "relation", "attribute"]) if topic == "object": obj = random.choice(scene_graph.objects) return f"What is the {obj.name} made of?" elif topic == "relation": obj1, obj2 = random_relation_pair(scene_graph) return f"Is the {obj1.name} to the left of {obj2.name}?"3.3 答案分布平衡
通过以下策略确保每个答案类型出现概率均衡：
| 平衡维度 | 实现方法 | 效果 |
|---|---|---|
| 类型平衡 | 控制yes/no、颜色等答案类型的比例 | 避免模型偏向特定回答形式 |
| 语义平衡 | 同义词合并（如"红色"和"深红"） | 防止近义答案分散统计 |
| 难度平衡 | 按推理步骤数分层采样 | 确保简单与复杂问题合理配比 |
3.4 功能表示设计
团队定义了32种基础功能操作符，包括：
- 基本操作：
select,filter,verify - 逻辑操作：
and,or,exist - 比较操作：
same,different,greater - 属性操作：
query_color,query_material
这些操作符可像乐高积木一样组合，覆盖98%的人类自然问题。
4. GQA对视觉推理研究的深远影响
4.1 评估范式的转变
传统评估只关注最终答案准确率，而GQA支持：
- 分步诊断：分析模型在
select→filter→compare链条中哪一环失效 - 鲁棒性测试：通过扰动场景图生成对抗样本（如将"左边"改为"右边"）
- 组合泛化：用训练未见过的操作符组合测试模型创新能力
4.2 模型设计的新方向
GQA催生了一批注重可解释性的新架构：
| 模型类型 | 代表工作 | 对应GQA特性 |
|---|---|---|
| 模块化网络 | NS-VQA | 显式实现功能操作符 |
| 图推理模型 | GRUC | 直接处理场景图结构 |
| 符号回归 | NMN | 学习生成功能表示 |
4.3 工业应用的启示
GQA方法论已影响实际应用系统的设计：
- 电商视觉搜索：将用户查询"适合搭配这条裙子的高跟鞋"解析为：
[select]裙子→[query]颜色/风格→[filter]鞋类→[match]风格 - 自动驾驶场景理解：将"前方是否有横穿马路的行人"转化为：
[detect]行人→[locate]马路区域→[verify]运动方向
在测试某个商品识别模型时，我们发现其对于"展示柜第三排的玻璃瓶装饮料"这类问题的准确率比传统数据集训练模型高37%，这正是受益于GQA式的组合推理训练。