论文阅读笔记 | Thinking in Frames: How Visual Context and Test-Time Scaling Empower Video Reasoning
一、Motivation
1.1 多模态大模型在空间推理上的瓶颈
多模态大语言模型（MLLMs）在视觉语义理解上取得了显著成功，但在具身空间推理领域存在根本性局限。瓶颈在于推理模态的介质：MLLMs 通过文本描述来推理，而文本对于精细的几何上下文和物理动态来说既低效又不精确。
举一个直观的例子：用文字精确描述"将一个三角形顺时针旋转37度后平移到轮廓左上角"几乎不可能做到毫无歧义，但如果直接用视频展示这个过程，信息传达就自然且准确得多。
1.2 已有视频推理工作的不足
已有的视频推理工作（如 Visual Planning、Thinking with Video 等）存在三个主要问题：
- 只关注低视觉变化的离散任务：大部分工作集中在迷宫导航这类任务上——背景不变，只有一个小图标在移动。这回避了视频生成模型在高视觉变化场景下维持几何一致性的核心挑战。
- 局限于分布内评估：只在训练时见过的迷宫尺寸和路径长度上测试，没有系统性地考察模型的泛化能力。
- 缺乏对 test-time scaling 的探索：LLM 领域已经发现更长的推理链（更多 token）能提升推理性能，但视频生成领域是否存在类似现象尚未被研究。
1.3 本文的切入点
基于以上不足，论文提出了两个核心研究问题：
- 视频生成模型能否在**分布外（OOD）**设置下泛化？
- 增加生成帧数（推理预算）能否像 LLM 中更长的 CoT 一样提升推理性能？
二、Related Work
2.1 多模态规划
现有的多模态规划方法大致分为三条路线：
- 工具增强路线：利用 MLLM 调用外部工具（如符号编程语言作为草稿板、坐标表示来增强感知锚定、调用其他生成模型等），将推理过程通过交错的文本-图像序列来表达。
- 原生多模态生成路线：设计能直接生成多模态内容的 MLLM 架构，包括图像序列生成（如 VPRL）和交错的多模态 trace 生成（如 MVoT）。
- 潜在表示路线：在隐空间中进行推理，但通常缺乏显式可视化的"视觉思维"。
这些工作的共同局限是大多聚焦于分布内设置和结构化规划任务，对 OOD 泛化的研究非常有限。
2.2 视频生成
视频生成模型传统上被视为媒体创作工具。近期开始有研究将视频生成模型用作视觉推理器，但主要集中在迷宫导航这类低视觉变化的离散规划任务上，未涉及连续操作、高视觉变化的场景。
2.3 测试时扩展（Test-Time Scaling）
在 LLM 领域，增加推理时的计算量（更长的 CoT 或多次采样聚合）已被证明能提升性能。但在视觉领域，这种 test-time scaling 现象尚未被系统研究。已有工作仅关注通过并行采样提升视频的感知质量（视觉效果），而非视觉规划或推理能力。本文声称是首个在视觉规划任务中发现 test-time scaling law 的工作。
三、Method
3.1 形式化定义
论文将视频生成形式化为一个视觉规划问题：
给定初始状态图像sstarts_{start}sstart、目标规范ggg（如目标图像或模式）、以及一组隐式物理约束ccc，目标是生成视频序列V={v0,v1,...,vT}V = \{v_0, v_1, ..., v_T\}V={v0,v1,...,vT}，其中v0=sstartv_0 = s_{start}v0=sstart。生成模型Pθ(V∣sstart,g)P_\theta(V | s_{start}, g)Pθ(V∣sstart,g)充当规划策略，帧的时间演化vt→vt+1v_t \rightarrow v_{t+1}vt→vt+1对应规划的执行。
与符号规划器输出离散动作不同，视频模型输出的是连续的高维密集转换，需要隐式学习潜在规则和因果动态。
3.2 两种推理体制
论文设计了两个对比鲜明的任务来覆盖视觉推理的不同方面：
| 维度 | 迷宫导航 (MazeNavigation) | 七巧板拼图 (TangramPuzzle) |
|---|---|---|
| 视觉变化程度 | 低（只有小图标移动） | 高（整个画面持续变化） |
| 动作空间 | 离散（上下左右） | 连续（旋转+平移） |
| 核心挑战 | 长期逻辑一致性 | 空间几何一致性 |
迷宫导航
沿用已有工作的标准设定，智能体沿迷宫白色路径从起点滑动到终点（红色圆圈），不能穿墙。评估模型保持地图结构长期一致性和执行无碰撞路径规划的能力。
七巧板拼图（新提出）
给定一个目标轮廓，将7块几何拼片精确地旋转、平移并填入轮廓中。这个任务的难度不在路径长度（固定为7块），而在于几何保持——在连续操作过程中整个场景都在变化，模型需要保持每块拼片的形状、颜色不变形。
针对七巧板设计了三种变体来控制视觉上下文的可用程度：
- Fade-In：拼片在目标位置逐个淡入，初始画面中看不到拼片形状（无几何先验）。
- Rotation：拼片在左侧栏以随机朝向列出，模型需要先旋转再平移。
- Translation：拼片在左侧栏以正确朝向列出，模型只需平移。
3.3 模型与训练
主干模型：Wan 2.2 TI2V 5B（开源的文本+图像到视频的 diffusion 模型）。
训练方式：使用 LoRA 微调，训练 20 个 epoch。
训练数据：全部由程序自动构造。迷宫导航使用搜索算法生成 4,000 个实例（3×3 到 6×6 各 1,000 个），最优路径长度 2-12 步，配合 40 种不同视觉图标。七巧板基于 Kilogram 数据集的 692 个轮廓图，每个有唯一的标准拆分方案。
对比基线：
- 文本推理：GPT-5.1、GPT-5.2（零样本）、Qwen3-VL-8B（fine-tune）
- 图像推理：VPRL-7B（图像序列生成）、Qwen-Image-Edit（图像编辑）、Nano Banana
- 视频推理：Wan 2.2 TI2V 5B（本文方法）
3.4 评估指标
迷宫导航：
- Exact Match (EM)：路径完全正确的比例
- Progress Rate (PR)：正确完成路径的百分比
七巧板拼图（基于最终帧的像素级评估）：
- Strict Goal Completion：所有7块都正确放置，无重叠、无变形、无颜色幻觉
- Progress Goal Completion：正确放置的拼片比例
- Boundary Adherence (IoU)：生成拼片与目标轮廓的交并比
四、Experiments
4.1 分布内结果
迷宫导航：视频模型碾压文本模型
| 模型 | 输出模态 | 3×3 EM | 4×4 EM | 5×5 EM | 6×6 EM |
|---|---|---|---|---|---|
| GPT-5.1 | 文本 | 15.6 | 11.6 | 8.4 | 6.8 |
| GPT-5.2 | 文本 | 18.4 | 13.2 | 10.0 | 8.4 |
| Qwen3-VL-8B (fine-tuned) | 文本 | 89.2 | 69.6 | 44.8 | 29.6 |
| VPRL-7B | 图像 | 94.0 | 72.0 | 66.0 | 62.0 |
| Wan 2.2 TI2V 5B | 视频 | 96.0 | 98.0 | 98.0 | 92.0 |
GPT-5 系列在零样本设置下表现极差（不到 20%），即使是 fine-tuned 的 Qwen3-VL 在 6×6 迷宫上也只有 29.6%。而视频模型在所有尺寸上都达到 92% 以上，优势巨大。
七巧板：视觉上下文是关键
| 设定 | Wan 2.2 (Strict GC) | Qwen-Image-Edit (Strict GC) | Qwen3-VL 文本 (Strict GC) |
|---|---|---|---|
| Fade-In（无几何先验） | 0.8% | 31.0% | - |
| Rotation（有形状，朝向随机） | 22.4% | 45.2% | 14.4% |
| Translation（有形状+正确朝向） | 68.0% | 85.7% | 28.0% |
三个关键观察：
- Fade-In 几乎完全失败（0.8%）：没有视觉上下文中的几何先验，视频模型无法凭空"想象"出拼片形状。
- 视觉上下文越丰富，表现越好：Translation（提供形状+朝向）远好于 Rotation（只提供形状），证明视觉上下文作为几何控制信号的重要性。
- 文本推理在连续操作中彻底失败：Qwen3-VL 即使 fine-tune 后也难以用文字精确描述连续的旋转和平移坐标。
4.2 分布外（OOD）泛化
迷宫：空间和时间维度的泛化
| 设定 | EM | PR |
|---|---|---|
| 分布内 (3×3-6×6) | 96.0 | 99.0 |
| OOD 迷宫尺寸 (7×7) | 90.0 | 92.3 |
| OOD 迷宫尺寸 (8×8) | 80.0 | 83.6 |
| OOD 路径长度 (5×5 长路径) | 44.0 | 55.2 |
| OOD 路径长度 (6×6 长路径) | 42.0 | 51.6 |
| OOD 两者都超出 (7×7 长路径) | 40.0 | 51.1 |
| OOD 两者都超出 (8×8 长路径) | 32.0 | 47.1 |
空间泛化表现不错（7×7 仍有 90%），性能下降是平缓的而非灾难性的。但时间维度（更长路径）的泛化下降更明显（降至 40% 左右）——这为后面的 test-time scaling 实验提供了动机。
视觉外观泛化：换图标几乎不影响
将智能体图标替换为训练时从未见过的图标后，性能几乎没有下降（如 3×3: 96.0% → 95.5%）。这说明模型学到的是与视觉外观解耦的规划算法，而不是记忆特定像素的转换。
七巧板：泛化到新轮廓
在 Translation 设定下，未见轮廓（60.8%）与已见轮廓（68.0%）的表现相当，证明模型没有死记解法，而是学到了泛化的几何拼合和无碰撞滑动的概念。
4.3 视觉 Test-Time Scaling
这是论文最核心的发现。
更多帧 = 更好的 OOD 泛化
在迷宫导航中，增加生成帧数（从 61 帧到 121 帧），OOD 性能持续提升：
- OOD 迷宫尺寸：从约 75% 提升到约 95%
- OOD 路径长度：从约 30% 提升到约 70%
- OOD 两者：从约 20% 提升到约 55%
但继续扩展到 141 帧时性能反而下降，作者认为这是模型位置编码的架构限制，而非推理能力本身的瓶颈。
控制变量实验：每步分配更多帧
引入缩放因子 κ（每个离散步骤分配的帧数），测试 κ ∈ {5, 7, 9, 11}。结果显示更多帧/步确实带来更好的性能，排除了"只是视频更长所以恰好更好"的解释。
涌现的"自我纠正"行为
在高帧数下，模型出现了训练数据中不存在的行为：智能体走错方向后会停下、回头、纠正路线。这暗示模型不是简单检索记忆的路径，而是在某种程度上"模拟"轨迹，中间帧帮助纠正规划。
但 scaling 不适用于七巧板
在七巧板任务中，增加帧数不会提升性能。原因是七巧板的瓶颈在于几何一致性的维持——更长的视频意味着更多帧需要保持拼片形状不变形，这反而增加了难度。迷宫的 scaling 有效是因为背景静态、视觉变化小；七巧板的全局视觉变化太大，更多帧带来的"更多思考时间"被"更多变形机会"抵消了。
五、Conclusion
- 视频生成模型不仅是媒体工具，也是视觉推理引擎：在离散规划（迷宫）和连续操作（七巧板）上都展现了推理能力。
- 视觉上下文作为控制信号：比文本指令更有效，能实现对未见视觉模式的零样本泛化。
- 视觉 test-time scaling：增加帧数作为推理预算，能显著提升 OOD 任务的表现，类似于 LLM 中更长的 CoT。
- 瓶颈明确：当前视频生成模型在高视觉变化场景下维持几何一致性仍是根本挑战，test-time scaling 在这类场景下不适用。
六、个人思考
6.1 视频模型到底学到了什么？
论文中 OOD 泛化实验最有价值的启示在于：模型确实学到了某种超越像素记忆的抽象规则。换图标不影响性能、泛化到更大迷宫性能平缓下降——这些都说明模型学到了"沿路走、不穿墙"的抽象概念，而非"蓝色星星从这个像素移动到那个像素"的具体模式。
但这并不等于模型"会推理"。一个更谨慎的说法是：模型从大量示范中归纳出了视觉规划的一般性模式。这种归纳能力很有价值，但跟"理解迷宫的拓扑结构然后搜索最短路径"仍然是不同层面的事情。
6.2 Test-Time Scaling 的本质
论文将更多帧类比为更长的 CoT，这个类比很有启发性但需要审慎对待。在 LLM 的 CoT 中，每个新 token 是模型基于之前所有 token 自回归生成的，前面的推理步骤显式影响后面的推理。但在 diffusion model 中，整个视频是联合去噪生成的，并非逐帧自回归。
那为什么更多帧确实有效？一个可能的解释是：更多帧给 diffusion 过程提供了更精细的"分辨率"来表达复杂轨迹。就像用更多像素可以画出更精细的曲线一样，更多帧让模型可以用更小的步幅来表达更复杂的路径，从而降低了每一步的难度。这与其说是"更多思考时间"，不如说是"更高的输出分辨率"。
论文中"自我纠正"行为的观察确实有趣，但仅基于定性示例。如果这种行为是系统性的，需要更多定量分析来证明它不是偶然的生成噪声碰巧看起来像纠正。
6.3 七巧板任务的价值与局限
七巧板是本文最有原创性的贡献。它揭示了一个重要事实：当前视频生成模型在高视觉变化场景下维持几何一致性仍是根本挑战。这比迷宫任务更能暴露模型的真实能力边界。
但七巧板任务也有局限：Fade-In 设定下 0.8% 的准确率说明，没有视觉上下文时模型几乎完全无法工作。这意味着模型的"推理"在很大程度上依赖于初始画面中已经包含的信息（拼片的形状和朝向），而非自己"想出"解法。Translation 设定下 68% 的准确率很大程度上是因为正确朝向已经给定，模型只需学会"把东西移到对的位置"——这更接近视觉模式匹配，而非真正的空间推理。
本文仅为个人阅读理解，如有不当之处欢迎指正。