ICLR 2026在审论文SAM 3拆解：它的‘数据引擎’和‘记忆银行’是怎么搞定开放词汇歧义的？

ICLR 2026在审论文SAM 3核心技术解析：数据引擎与记忆银行如何重塑开放词汇分割

当计算机视觉系统面对"mouse"这样的词汇时，它需要判断用户指的是啮齿类动物还是电脑外设；当处理"small window"时，它必须理解这个描述在不同场景下的相对尺度。这些看似简单的语义歧义问题，恰恰是开放词汇分割模型面临的最大挑战。SAM 3通过创新的数据引擎架构和记忆银行机制，为这一难题提供了系统性的解决方案。

1. 数据引擎：构建高质量开放词汇数据集的工业化流水线

传统视觉数据标注面临两个根本性矛盾：人工标注的高成本与大规模需求之间的矛盾，以及封闭词汇表与开放世界复杂性之间的矛盾。SAM 3的SA-Co数据集通过三级数据引擎实现了质量与规模的平衡，其核心创新在于将AI的扩展性与人类的判断力有机结合。

1.1 三级协同标注系统

数据引擎的工作流程体现为三个递进阶段：

1. AI候选生成层：

   # 伪代码展示多模态候选生成流程 def generate_candidates(image): noun_phrases = multimodal_llm.caption(image) # 生成候选名词短语 initial_masks = segmentation_model.predict(image, noun_phrases) return filter_low_confidence(noun_phrases, initial_masks)

   这一阶段利用多模态大语言模型(MLLM)自动提取图像中的语义概念，配合基础分割模型生成初步掩码。关键突破在于模型能够生成"person holding umbrella"这类复合概念，而不仅是简单名词。

2. 人类语义仲裁层：

   • 标注员主要承担"概念验证者"角色，而非传统像素级标注
   • 界面设计聚焦于二元判断：这个短语是否准确描述了图像内容？
   • 允许标注员对明显错误的分割进行快速修正，但不要求完美边界

3. AI质量验证环：

   验证维度	技术实现	阈值标准
   短语-图像相关性	CLIP相似度	>0.82
   掩码边界质量	边缘一致性得分	>0.75
   语义歧义检测	多义词分类器	置信度差>0.3

1.2 歧义样本的特别处理机制

对于"mouse"这类多义词，系统采用分级处理策略：

1. 上下文强化：

   • 自动收集包含"computer mouse"和"animal mouse"的典型场景图像
   • 构建视觉上下文特征库，包含周边物体(键盘vs奶酪)和典型环境(办公室vs野外)

2. 分层标注协议：

   > 标注员遇到歧义时必须： > 1. 标记该样本为"语义敏感"类别 > 2. 提供至少一个区分性上下文特征 > 3. 可选添加辅助描述(如"无线鼠标")

3. 动态难度平衡：

   • 训练过程中根据模型当前表现动态调整歧义样本比例
   • 初期侧重明确样本建立基础能力，后期逐步引入边界案例

2. 记忆银行：视频场景中的概念一致性保持机制

当处理视频序列时，简单逐帧处理会导致目标ID跳变、边界抖动等问题。SAM 3的记忆银行不是简单的特征缓存，而是一个具有时序感知能力的动态知识库。

2.1 分层记忆架构

记忆银行采用金字塔式存储结构：

1. 短期记忆层（0-5帧）：

   • 存储高精度的外观特征和运动向量
   • 更新频率：每帧增量更新
   • 主要用于解决遮挡和快速运动

2. 中期记忆层（5-30帧）：

   • 保留语义特征和典型姿态
   • 更新策略：关键帧采样
   • 应对目标消失重现的情况

3. 长期记忆层（>30帧）：

   • 维护类别级原型特征
   • 更新机制：动量更新
   • 保证跨场景的概念一致性

2.2 记忆检索与更新算法

核心操作通过注意力机制实现：

# 记忆检索的简化实现 def retrieve_memory(current_frame_features, memory_bank): # 计算当前特征与记忆条目的相似度 similarity = torch.matmul(current_frame_features, memory_bank.keys.T) # 基于相似度的记忆聚合 aggregated_memory = torch.softmax(similarity, dim=-1) @ memory_bank.values return aggregated_memory

记忆更新遵循三个原则：

1. 重要性采样：只更新置信度高于阈值的目标特征
2. 冲突解决：当新特征与现有记忆冲突时，触发人工标注类似的验证流程
3. 容量动态调整：根据场景复杂度自动扩展记忆槽位

3. 工程实践：从理论到产品的关键设计

实验室性能与真实场景效果之间存在巨大鸿沟。SAM 3在工程实现上做出了多项针对性设计。

3.1 实时性优化策略

针对不同硬件平台的优化方案对比：

实际部署中发现：记忆银行的查询耗时与目标数量呈超线性增长，当同时跟踪超过50个目标时需要考虑近似最近邻算法

3.2 失败案例处理流程

当系统检测到潜在错误时，会启动三级恢复机制：

1. 本地恢复：

   • 短期记忆回滚到最近可靠状态
   • 重新计算光流和语义一致性

2. 全局恢复：

   • 查询长期记忆中的类别原型
   • 启动基于原型的区域提议

3. 交互修复：

   • 保留用户修正历史作为特殊记忆条目
   • 建立用户特定偏好的记忆分区

4. 开放词汇分割的未来演进方向

当前系统仍存在若干本质性限制，这些也指明了下一代系统的研发方向。

4.1 从名词短语到关系描述

现有模型能较好处理"a dog"这样的简单概念，但对"the dog chasing its tail"这类关系描述仍无能为力。突破这一限制需要：

1. 时空关系记忆：

   • 在记忆银行中增加谓词槽位
   • 开发基于谓词的注意力机制

2. 组合式训练：

   • 显式训练名词-动词组合的泛化能力
   • 构建关系型验证集

4.2 记忆的持续学习机制

现有记忆银行在部署后难以在线更新，导致领域适应能力有限。可能的解决方案包括：

1. 差分记忆更新：

   • 隔离基础记忆和领域特定记忆
   • 通过轻量级适配器实现快速调整

2. 记忆蒸馏：

   • 定期将短期记忆压缩到长期记忆
   • 建立记忆重要性评估指标

在真实视频分析项目中，记忆银行的容量规划往往比算法选择更关键。一个经验法则是为每小时的视频素材预留1GB的记忆空间，同时保持至少30%的冗余以应对突发场景变化。