印度理工海德拉巴分校揭示多模态大模型的视觉调度秘密

这项由印度理工学院海德拉巴分校计算机视觉与智能技术中心（CVIT, IIIT Hyderabad）完成的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.03738，有兴趣深入了解的读者可通过该编号查询完整论文。

当你向一个多模态AI助手提问"图片里是什么水果，顺便帮我算一道数学题"，AI是怎么完成这件事的？它是同时盯着图片和文字，还是先看图再看字？在回答"草莓"的那一刻，它的注意力是不是真的集中在图片上？在切换到数学题之前，它是不是回头重新读了一遍你的指令？

这些听起来像是在问一个人"你做题的时候眼睛看哪儿"的问题，实际上在AI研究领域，几乎没有人认真追问过。过去的研究更多关注模型内部的"哪个零件负责什么"——哪一层处理视觉信息，哪些神经元对文字敏感——却很少有人关注在模型逐字生成回答的过程中，注意力是如何随时间动态流转的。这正是这篇论文想要填补的空白。

研究团队把这个新的分析视角命名为OTaT，即"One Token at a Time"（一次一个词）。他们的核心主张是：理解一个能飞翔的系统，不能只解剖翅膀的结构，还要观察它飞翔时翅膀如何运动。对多模态AI的理解亦然——不仅要知道"哪里"处理了什么，更要知道"什么时候"处理了什么。

一、谁在看图？谁在看字？——拆解AI的注意力地图

要理解这项研究，需要先了解多模态大模型是如何工作的。以Qwen2.5-VL和LLaVA-OneVision这两个主流模型家族为例，一个这样的模型大致由三部分组成：一个视觉编码器，负责把图片压缩成一串数字向量；一个对齐模块，把这些视觉向量翻译成语言模型能读懂的"语言"；最后是一个自回归语言模型，负责逐字生成回答。

"自回归"是理解这项研究的关键词。这意味着模型生成回答的方式和人类打字一样，是一个字一个字往外蹦的，而且每生成一个字，都要把之前所有的上下文——包括图片、用户问题、已经生成的部分回答——通通再看一遍，才能决定下一个字是什么。这个"再看一遍"的过程，就是注意力机制在工作的时刻。

研究团队设计了一种方法，专门追踪每生成一个词的瞬间，模型的注意力分别分配给了哪些内容。他们把整个输入上下文划分为几个有意义的语义块：图片、文字（比如数学题）、指令（比如"先识别水果，再答数学题"）、以及已经生成的那些词。然后，对于每个正在被生成的词，他们计算模型在所有层、所有注意力头上，对各个语义块的平均注意力分数。

这就像是在观察一位厨师在做菜的每个步骤中，视线分别在菜谱、食材、炉火上各停留了多久。通过这种方式，他们能够绘制出一张随时间动态变化的"注意力地图"。

为了让不同样本、不同长度的回答之间能够横向比较，团队还引入了一个聪明的归一化处理：把每个语义块在所有时间步上的平均注意力值作为基准减掉，这样剩下的就是相对于平均水平的偏差，能更清晰地看出"什么时候注意力异常集中"。这就好比不问"你今天喝了几杯水"，而是问"你今天喝水比平时多了多少"，后者更能反映行为的变化规律。

为了使数据集层面的分析有意义，他们还设计了一套语义标注方案：把生成的每个词按照在回答中的功能角色打上标签，比如"水果介绍词"、"水果概念词"、"任务切换词"、"数学答案词"等等，再把同一角色的所有词的注意力分数平均起来，这样就能在整个数据集上做稳健的统计分析了。

二、"诊断实验室"——Fruit-Math任务的设计哲学

为了让注意力的分析不受无关因素干扰，研究团队自己设计了一个叫做"水果数学"（Fruit-Math）的诊断任务。这个任务的设计思路相当精妙：每道题包含一张水果图片和一道数学文字题，两者之间完全没有关联。图片里的水果和数学题里的人物、物品毫无交集。

这种"强制解耦"的设计，是为了消除一个研究上的麻烦：如果图片和文字内容有关联，模型在生成"苹果"这个词的时候，到底是因为看了图片，还是因为文字里提到了苹果？你根本分不清。把两者完全分开，就像是把两种颜料分装在不同的瓶子里，这样你才能准确知道画布上的颜色来自哪个瓶子。

数据集共涵盖11种水果类别，图片来自OpenImages数据集，数学题来自GSM-8K，两者随机配对。模型被要求按照固定格式回答："图片中的水果是[水果名]。数学题的答案是[数字]。"

除了这个自制的诊断任务，研究团队还在两个真实基准数据集上验证了他们的发现。一个是视觉空间推理任务（VSR，来自Mixed Signals基准），这个任务给模型看一张图片，同时提供一段与图片内容在空间关系上存在矛盾的文字描述，要求模型同时识别图片中的空间关系和文字中的空间关系。另一个是ChartQA，要求模型回答关于图表的两道问题。这两个任务都要求模型在一次回答中同时处理视觉和语言信息，是对诊断结论的重要外部验证。

三、注意力会"择时而动"——三个核心发现

通过对四个不同规模的模型（LLaVA-OneVision-0.5B、LLaVA-OneVision-7B、Qwen2.5-VL-3B、Qwen2.5-VL-7B）的系统分析，研究团队发现了三个跨模型、跨任务高度一致的规律。

第一个规律是：注意力在需要的时候才集中到对应的信息源上。在水果数学任务中，当模型正在生成水果名称那个词（比如"草莓"）时，对图片的注意力会明显攀升；而在生成数学答案时，对图片的注意力下降，对文字数学题的注意力则显著升高。这个模式在所有四个模型上都成立，无论模型大小、来自哪个家族，都呈现出相同的规律。

有一个细节特别有意思：在归一化的注意力曲线中，某些时间点的注意力峰值不是在生成该概念词的时刻，而是在生成该词之后的下一步。这是因为模型的运作机制是把"上一个词"作为输入来生成"这个词"。所以当"草莓"这个词被生成后，下一步的输入就是"草莓"，而这个词本身与图片高度相关，会触发更强的图片注意力——即使这一步生成的是句号或者EOS结束符。换句话说，注意力同时受到"当前要生成什么"和"上一个词是什么"的双重影响。

为了进一步确认这不是偶然现象，研究团队做了一个逆序实验：保持输入完全一样，但把指令改成"先答数学题，再识别水果"。结果非常干净：注意力的峰值位置完全翻转——生成数学答案时看文字，生成水果名时看图片。这说明模型确实是根据任务指令动态调度注意力的，而不是随机或固定地分配注意力。

第二个规律是：每次任务切换前，模型都会回头看一眼指令。在水果数学任务的注意力曲线中，指令块的注意力出现了两次明显的峰值：一次是在生成的最开始，另一次是在完成水果识别、准备切换到数学题的"交接"时刻。ChartQA任务中也观察到了类似的模式，在回答第一道问题结束后切换到第二道问题时，对指令的注意力会明显增强。这就像是一个员工在做完第一项任务后，抬起头重新看一眼工作单，确认下一步该做什么。

第三个规律是：对已生成词的注意力随着生成进程持续递增。随着回答越来越长，模型对自己已经生成的那些词投入的注意力越来越多。这在直觉上也说得通——当你已经写了一大段文字，为了保持语言连贯、格式统一，你确实需要不断回看自己写的内容。

这三个规律在用于文字任务的纯语言模型上也得到了验证。研究团队用LLaVA-OneVision的基础语言模型Qwen2-7B测试了一个"数学-体育"文字任务（同时回答一道数学题和识别一段体育文字描述对应的运动项目），发现完全相同的注意力模式出现了。这意味着这种动态调度能力很可能是从基础语言模型中继承来的，多模态训练只是在此基础上扩展了视觉处理的能力。

四、"拔掉插头"实验——阻断注意力会发生什么

发现规律是第一步，证明这些规律真的重要是第二步。研究团队设计了一系列"注意力阻断"实验：在模型生成某个特定词的时刻，强行切断信息从某个语义块流向模型的通路，然后观察模型的反应。

阻断方式有两种。一种叫"懒惰阻断"，只切断当前生成步骤中对某个块的直接注意力；另一种叫"彻底阻断"，不仅切断当前步骤，还切断之前所有已生成词从该块获取信息的通路，相当于从根源上切断信息流动。两种方式对比下来，彻底阻断通常效果更明显，但某些小模型对懒惰阻断的反应反而更剧烈，原因后面会解释。

第一组实验是在模型要生成水果名的时刻，阻断图片信息。结果：所有模型的水果识别准确率大幅下降。具体数字如下：LLaVA-OneVision-0.5B在懒惰阻断后准确率从65.1%跌至6.4%，彻底阻断后跌至31.1%；LLaVA-OneVision-7B在懒惰阻断后跌至33.4%，彻底阻断后跌至15.0%；Qwen2.5-VL-3B和7B也有类似的大幅下降。作为对照，如果在生成水果介绍词（"图片中的水果是"这几个字）阶段阻断图片信息，准确率几乎不变，甚至略有提升。这完美印证了之前的发现：图片注意力对于生成水果名这一步至关重要，但对于生成前面那些铺垫性的文字毫无影响。

阻断之后，模型的反应相当多样，可以分为四类。小模型（LLaVA-OneVision-0.5B）表现出强烈的"跨模态信息泄漏"：它会把数学题里出现的名词直接当成水果来输出，比如数学题里有"猫"，模型就说"图片中的水果是猫"；数学题里有"椅子"，模型就说水果是椅子；甚至有"出口C"这样的短语也被输出成水果名——这种结果相当荒诞，但也说明小模型在缺少图片信息的情况下，会把注意力漂移到其他显著的文字内容上。大模型（LLaVA-OneVision-7B）则更多表现为"语言先验"：它特别偏爱说苹果或香蕉，因为这是语言模型见过最多的水果名称，在没有图片信息的情况下它会凭"经验"猜测。Qwen2.5-VL-7B则主要表现为"否认"：大量回答变成"图片中没有水果"或"没有提供图片"，说明这个模型在训练中可能学会了在不确定时拒绝回答。还有一种相对罕见但特别有趣的行为，在Qwen2.5-VL-3B中出现，叫做"自我修复"：模型会先说"不是橙子，是一个橙子的特写"，先否认再给出正确答案，最终仍被评分系统计为正确。这说明较强的模型即使在某个时间步被阻断了信息，后续生成中仍有机会"补救"。

第二组实验是在任务切换时刻（"交接"词）阻断指令信息。结果：水果识别完全不受影响，但模型几乎完全停止回答数学问题。在LLaVA-OneVision-7B上，数学答题率从83.9%骤降至0.2%；在Qwen2.5-VL-3B上从84.2%降至1.2%。模型的回答在识别完水果之后就戛然而止，不再有数学答案。这直接验证了第二个规律的功能重要性：切换任务时回看指令，不是可有可无的行为，而是完成多任务回答不可缺少的步骤。

第三组实验是全程阻断对已生成词的注意力。结果最为戏剧性：LLaVA-OneVision-7B的水果答题率从93.8%暴跌至25.9%，模型陷入重复循环，不断生成"图片中的水果……图片中的水果……图片中的水果……"这样的死循环，永远无法完成一个完整句子。Qwen2.5-VL系列在这组实验中表现出更强的鲁棒性，答题率下降幅度相对较小，但数学部分同样完全崩溃。这说明对已生成词的注意力，是模型维持语言连贯性、按格式推进回答的"记忆锚点"，一旦被切断，模型就失去了前进的方向。

还有一组实验作为对照：全程阻断对"im_start_0"这个占位符的注意力，结果模型表现不仅没有下降，反而略有提升。这印证了归一化分析的结论——这个符号虽然原始注意力分数看起来很高，但它本质上不携带有效信息，阻断它反而减少了"注意力资源浪费"。

五、"精准助推"——在对的时间推一把

阻断实验证明了注意力的功能重要性。那么反过来，如果模型的注意力分配本来就不对，能不能通过人为加强正确的注意力来提升表现？

研究团队以视觉空间推理（VSR）任务为试验场。他们先分析了LLaVA-OneVision-7B在这个任务上为什么比Qwen2.5-VL-7B差很多（21.3%对50.7%的综合准确率）。注意力分析给出了清晰的答案：在回答图片空间关系的时候，LLaVA-OneVision-7B的注意力主要集中在文字上，而不是图片上；而Qwen2.5-VL-7B则正好相反，在答图片部分时看图片，答文字部分时看文字。

这种"注意力错位"直接导致了性能差距。于是研究团队设计了一个简单的测试时干预：在模型即将生成图片空间关系词的那一步，人为放大对图片的注意力分数；在即将生成文字空间关系词的那一步，人为放大对文字的注意力分数。

这个干预方式在技术上很简单：对post-softmax的注意力张量进行乘法重加权，然后重新归一化。具体来说，把选定语义块的注意力分数乘以一个放大系数β，然后让所有分数重新加和为1。实验时对所有层、所有注意力头同等施加这个干预，不做任何针对特定层或特定头的精细化调整。

效果相当显著。LLaVA-OneVision-7B的综合准确率从21.3%跃升至49.8%，提升了28.5个百分点；Qwen2.5-VL-3B从28.5%升至37.1%，提升8.6个百分点；Qwen2.5-VL-7B从50.7%升至53.4%，提升2.7个百分点。

作为反面对照，研究团队还测试了"全程放大图片注意力"的策略——即不管模型当前在生成什么词，都持续增强对图片的注意力。结果是一场灾难：所有模型的准确率大幅下滑，文字空间关系的准确率尤其惨烈，LLaVA-OneVision-7B的文字部分从54.1%跌至12.9%，Qwen2.5-VL-7B从81.4%跌至30.7%。这个对比非常清晰地说明：注意力的调度必须是时间敏感的，一刀切的干预不仅无效，反而适得其反。

在放大系数的调参实验中，研究团队发现对LOV系列模型，放大系数β在20到100之间的宽泛区间内，综合准确率的波动不超过1.1个百分点，显示出方法对超参数的低敏感性。当β极高时，性能才开始逐渐下滑。这意味着这种干预方式在实际应用中无需精细调参，具有相当的实用性。

六、这一切在更大图景中意味着什么

把上述所有发现放在一起，这项研究描绘出一幅多模态大模型在生成回答时的动态工作图景：模型并不是在整个生成过程中均匀地"消化"所有输入信息，而是根据当前正在生成的内容，动态调度注意力资源——需要图片时看图片，需要文字时看文字，需要搞清楚下一步做什么时看指令，需要保持连贯时回看自己写过的内容。

这种动态调度的能力，在大模型中比小模型更加精准，这与模型在各任务上的性能表现高度一致。注意力分配错位，往往直接对应着任务性能的下降。反过来，修正注意力分配，可以在不做任何训练的情况下，显著提升模型在多模态任务上的表现。

此前的多模态可解释性研究主要关注静态的"在哪里"：哪一层处理视觉特征，哪些神经元对语言敏感，哪些电路负责跨模态对齐。这项研究则补充了动态的"什么时候"：注意力在整个生成过程中如何随语义角色的变化而流动。这两个维度，就像是既了解心脏的解剖结构，又了解血液的循环规律，缺一不可。

当然，这项研究也存在一些坦诚承认的局限性。注意力分析需要在"急切注意力模式"下运行，无法使用FlashAttention等优化实现，这使得分析过程比正常推理慢得多，也占用更多显存。研究目前只覆盖了视觉和语言两种模态，音频等其他模态尚未探索。对于不同模型在阻断后表现出不同行为（泄漏、否认、修复等）的深层原因，研究也尚未给出完整解释，这可能与具体的训练数据和训练策略有关，但追溯起来并不容易。

说到底，这项研究做的事情，是给AI阅读时的"眼球运动"拍了一部纪录片。它告诉我们：那些看起来流畅输出的文字，背后是一套精心编排的注意力调度机制，在每个词语被生成的瞬间，模型都在做一次快速的"看哪儿"决策。这套机制大部分时候运作得相当合理，但在模型较弱或任务较难时，可能出现注意力错位——而我们现在已经知道，这种错位是可以被检测、被纠正的。对于那些希望让AI助手在看图答题、图文结合任务上表现更好的人来说，这无疑提供了一条不需要重新训练模型就能改善性能的新思路。

Q&A

Q1：多模态大模型的注意力动态调度是什么意思？

A：多模态大模型在逐字生成回答时，不会始终均匀地关注图片、文字和指令，而是根据当前正在生成的内容动态调整注意力分配。比如生成水果名称时，模型对图片的注意力会明显升高；生成数学答案时，注意力则转移到文字数学题上。这种"择时而动"的注意力调度行为，在多个不同规模和家族的模型上都被验证是普遍规律。

Q2：Fruit-Math任务为什么要把图片和数学题设计成完全无关的内容？

A：这是为了消除实验中的混淆因素。如果图片内容和文字内容有关联，研究者就无法判断模型生成某个词时到底是因为看了图片还是因为读了文字。通过强制让两者完全无关，就能像分开两种颜料一样，准确追踪每个词的生成究竟依赖了哪个信息来源，从而得出干净可信的结论。

Q3：测试时注意力放大干预为什么不能全程增强图片注意力？

A：全程增强图片注意力会破坏模型在生成文字相关内容时本该关注文字的自然调度。实验表明，这种无差别干预反而导致性能大幅下滑，尤其是文字部分的准确率崩溃。正确的做法是根据当前生成的词的语义角色，在需要看图片时才增强图片注意力，需要看文字时才增强文字注意力，时间敏感的精准干预才能带来性能提升。