MineExplorer评测：多模态大模型在动态世界中的能力断层与AI智能体架构解析

1. 项目概述：当AI走出“温室”，我们看到了什么？

最近，一个名为“MineExplorer”的评测基准在圈内引发了不小的讨论。这个项目很有意思，它没有去测试大模型在那些精心准备的、干净的、结构化的数据集上的表现，而是反其道而行之，把AI扔进了一个高度动态、开放且充满不确定性的虚拟世界——一个类似于《我的世界》（Minecraft）的游戏环境里。项目标题“让AI离开温室，走向动态世界”精准地戳中了当前多模态大模型发展的一个核心痛点：我们引以为傲的、在静态问答和图像描述上表现优异的模型，一旦进入需要实时感知、持续决策和复杂交互的真实动态场景，其能力可能存在着巨大的、被我们忽视的断层。

这让我想起了早期自动驾驶的测试。在封闭的测试场里，车辆可以完美地识别路标、规避障碍。但一旦进入真实的城市街道，面对突如其来的行人、不守交规的电动车、恶劣的天气和复杂的施工路段，系统就可能瞬间“懵掉”。MineExplorer所做的，本质上就是为多模态大模型构建了一个“城市街道”级别的测试场。它不再问“图片里有什么”，而是要求AI智能体（AI Agent）在游戏世界里完成“去地下挖三块铁矿，然后回家用熔炉烧制成铁锭”这样的开放式任务。这要求模型必须连贯地理解文本指令、解析动态变化的视觉场景（第一人称视角）、规划多步序列动作、并在执行中根据环境反馈（比如挖错了方块、遇到了怪物）实时调整策略。

这个评测基准的出现，绝非偶然。它呼应了当下AI从“感知”走向“行动”的大趋势。无论是“AI Agent”还是“具身智能”，其核心都是让AI能够基于对世界的理解，主动采取行动来达成目标。MineExplorer提供了一个绝佳的沙盒，让我们能定量地评估，一个号称“全能”的多模态大模型，究竟在多大程度上具备了在动态世界中“生存”和“做事”的能力。它所揭示的，可能不仅仅是某个模型的短板，更是整个技术路线在迈向通用人工智能（AGI）道路上必须填补的关键空白。

2. MineExplorer评测基准的核心设计思路

2.1 为何选择《我的世界》作为测试场？

MineExplorer选择《我的世界》作为评测环境，是一个极具巧思且非常务实的设计决策。这背后有多个层次的考量，远不止“因为它流行”那么简单。

首先，《我的世界》构建了一个近乎无限的开放世界。与围棋、象棋等封闭规则游戏不同，它的状态空间几乎是无穷的。地图随机生成，资源分布、地形结构、生物群落每次都不一样。这意味着模型无法通过记忆地图或穷举策略来“作弊”，必须真正学会泛化性的感知与规划能力。这完美模拟了现实世界的“开放性”和“不确定性”。

其次，它提供了高度可编程且可控的交互接口。通过Malmö等研究平台，我们可以精确地获取游戏的第一人称视觉观察（RGB图像），并以离散的“动作”（如前进、后退、跳跃、攻击、使用物品）向游戏发送指令。这种设置与机器人领域的“感知-动作”循环高度同构，使得《我的世界》成为了研究具身智能和强化学习的理想低成本模拟器。对于评测大模型，这意味着我们可以将模型的“思考”过程（文本推理、规划）与“执行”过程（动作序列）清晰地分离开来并记录分析。

第三，游戏内嵌了丰富的物理规律和因果关系。木头需要用斧头砍、石头需要用镐挖、熔炼需要燃料和配方。这些基础的物理和合成逻辑，是人类孩童通过玩耍就能习得的常识，但对AI来说却是巨大的挑战。评测模型能否理解“想要铁锭，必须先找到铁矿，再用石镐或更高级的镐开采，最后用熔炉和燃料烧制”这一连串的因果链，是检验其世界模型是否健全的关键。

最后，任务可以设计得极具层次性和复杂性。从简单的“走到那棵树旁边”（基础导航），到“合成一把木镐”（多物品获取与合成），再到“建造一个带有屋顶的小屋”（长程规划与空间构建），任务的难度可以平滑缩放。MineExplorer正是利用这一点，设计了一系列从易到难的任务，用以系统性地探测模型能力边界。

2.2 评测任务设计：从感知到规划的渐进式挑战

MineExplorer的评测任务并非单一指标，而是一个精心设计的任务谱系，旨在像“探针”一样，精准地刺探模型不同维度的能力。我们可以将其大致分为几个层级：

第一层：基础感知与导航（“看见并走到”）这是最底层的能力。任务可能包括：“请走到最近的橡树旁边”或“找到你视线内的那只羊”。这考验模型能否将文本指令中的物体（“橡树”、“羊”）与第一人称视觉流中的像素信息正确关联（ grounding ），并生成简单的导航动作序列。听起来简单，但在动态视角变化、物体遮挡、光照条件改变的情况下，对模型的视觉语言对齐能力是初步检验。

第二层：物体交互与基础操作（“使用并获取”）在导航的基础上，增加与物体的交互。例如：“砍倒这棵树并获得两块木板”。模型需要识别树（可能是多种树之一），切换到正确的工具（徒手或斧头），执行“攻击”动作直到树木被破坏，并走过去拾取掉落的物品（木板）。这里引入了工具使用、状态判断（树是否被砍倒）、物品栏管理等新维度。

第三层：多步骤合成与资源管理（“制造与升级”）这是核心挑战所在。典型任务如：“制作一把石镐”。要完成这个任务，模型需要：

1. 理解“石镐”的合成配方：需要两根木棍和三块圆石。
2. 规划获取原材料的子任务：先获取木头（制作木棍和工作台），再获取圆石（需要木镐或更高级的镐去挖掘）。
3. 执行并监控子任务：可能涉及制作木镐、寻找石头矿脉、挖掘、返回工作台等。
4. 处理过程中的意外：比如木镐在挖掘过程中损坏，需要重新制作。

这个层级的任务彻底暴露了模型在长程规划、因果推理、状态跟踪和资源闭环上的能力。模型必须维持一个内部的“任务栈”和“物品清单”，并理解不同动作对世界状态和自身状态的改变。

第四层：探索与生存（“在动态中求存”）引入时间压力和动态威胁。例如：“在日落前收集足够制作一张床的羊毛，以避免夜间怪物的攻击”。这要求模型不仅要有规划能力，还要有时间管理、风险预估和应急调整的能力。它需要理解“夜晚-怪物生成-需要床跳过夜晚”这一游戏机制，并优先执行获取羊毛的任务。

通过这套任务体系，MineExplorer能够生成一份非常细致的“能力诊断报告”，明确指出一个模型是在视觉基础（VLM）上就表现不佳，还是在规划推理（LLM作为大脑）上存在短板，亦或是在两者协同（Agent架构）上出了问题。

3. 多模态大模型在动态世界中的能力断层解析

MineExplorer的评测结果，像一面镜子，清晰地照出了当前顶级多模态大模型在从静态问答转向动态交互时，暴露出的几个关键性能力断层。这些断层并非简单的“准确率下降”，而是结构性的缺陷。

3.1 断层一：瞬时感知与连续世界理解的割裂

大多数现有的多模态大模型（如GPT-4V, Gemini等）的训练和评估范式，是基于单张或有限几张静态图片的。模型被训练去描述图片内容、回答关于图片的问题。但在MineExplorer这样的动态环境中，模型接收的是高帧率的第一人称视觉流。

这里出现第一个断层：模型缺乏对连续视觉变化的时序理解能力。例如，当模型发出“向前走”的指令后，下一帧的画面会平稳地向前移动。一个具备连续世界模型的智能体应该能预测到这种变化，并确认指令被执行。但许多模型会将每一帧视为独立的图片，无法建立帧与帧之间的关联，导致它可能因为视角的微小变化而“认为”自己看到了一个新场景，从而做出错误的判断。

更严重的是物体恒存性认知的缺失。在静态评测中，物体永远在图片里。在动态世界里，物体可能因为角色转身而离开视野，也可能被其他物体遮挡。模型需要理解“物体虽然看不见了，但它仍然存在”。许多模型在目标物体离开视野后，就会完全“忘记”它，无法执行“找到刚才看到的那只羊”这类任务。这本质上是模型内部缺乏一个持久且可更新的3D空间场景表征。

实操心得：提升时序理解的一个土办法在实际构建这类Agent时，我们不能直接把原始视频帧扔给VLM。一个有效的技巧是，除了当前帧，额外提供前一帧的画面，并在提示词（Prompt）中明确要求模型分析“与上一帧相比，画面发生了哪些变化？我的动作产生了什么效果？”。这相当于人为地为模型注入了最基础的时序上下文。更进一步，可以维护一个基于文本的“场景记忆”，用VLM不断描述当前画面，并用LLM来整合这些描述，形成一个不断演进的环境文本摘要。

3.2 断层二：抽象规划与具身执行的脱节

大语言模型（LLM）在文本层面进行任务分解和规划的能力非常出色。给定“制作石镐”的任务，它能清晰地输出步骤：1. 获取木头，2. 制作木棍和工作台，3. 制作木镐，4. 寻找石头，5. 挖掘圆石，6. 合成石镐。

然而，文本规划的“可行性”与在具体物理环境中“可执行性”之间存在巨大鸿沟。这就是第二个断层。LLM的规划是基于符号知识的，它知道“需要石头”，但它不知道“石头在当前的视觉画面中长什么样”。它需要VLM来充当它的“眼睛”，告诉它“你前方灰色带斑点的方块就是石头”。

但问题更深一层：即使VLM识别出了石头，LLM规划出的动作“挖掘石头”也无法直接执行。游戏接口接受的是如move 1,turn 10,attack 0这样的底层动作指令。因此，需要一个动作规划模块来将高层目标（“挖掘那个石头方块”）翻译成一连串精确的底层动作（转向对准方块、移动到合适距离、持续执行攻击动作N次）。

目前的主流架构是“VLM + LLM + 动作规划器”的三级流水线。断层就出现在流水线的衔接处：

• VLM到LLM的信息损失：VLM对画面的描述是概括性的（“你面前有一些树和石头”），可能丢失了精确的空间位置和距离信息，导致LLM无法做出精准决策。
• LLM到动作规划器的指令模糊：LLM可能输出“去挖那块石头”，但动作规划器需要知道具体是哪个坐标的石头，以及用什么工具、以什么角度去挖。

这个脱节常常导致智能体陷入“鬼打墙”式的行为：LLM不断重复发出高层指令，VLM不断描述相似场景，动作规划器执行的动作却无法有效改变状态，任务无法推进。

3.3 断层三：状态跟踪与错误恢复机制的缺失

在静态问答中，模型给出答案，任务就结束了。但在动态交互中，执行是一个持续的过程，且充满错误。这是第三个，也是最致命的断层：模型缺乏有效的内部状态跟踪和错误检测与恢复能力。

状态跟踪的挑战：智能体需要时刻记住：

• 世界状态：我砍了几棵树？背包里有什么？工作台放在哪里了？天快黑了吗？
• 任务状态：我现在正在执行“制作石镐”任务的第几步？当前子目标是什么？
• 自身状态：我的生命值、饥饿度如何？手里的工具耐久度还剩多少？

在MineExplorer的复杂任务中，这些状态信息是海量且动态变化的。许多模型架构只是简单地让LLM根据当前VLM的描述和之前的对话历史来决策，这相当于要求LLM在每次决策时都从零开始理解全局，负担极重且容易遗忘关键信息。

错误恢复的空白：当执行出现偏差时（比如挖石头时挖到了沙砾，或者木镐意外损坏），模型的表现往往非常脆弱。它可能：

1. 完全无视错误：继续执行原计划，导致后续动作全部无效。
2. 陷入困惑循环：意识到不对，但不知道如何修正，在原地打转或重复无效动作。
3. 错误归因：将问题归咎于错误的原因，并采取更错误的行动。

一个健壮的智能体需要具备“元认知”能力：监控执行结果，与预期对比，如果偏差超过阈值，则触发错误处理流程——这可能包括重新评估环境、调整计划、甚至回溯到更早的步骤。

注意事项：构建状态跟踪系统的实践要点在实践中，我们绝不能依赖LLM的“记忆”。必须设计显式的状态表示和更新模块。一个常见做法是维护几个关键的数据结构：

1. 物品清单（Inventory）：一个实时更新的列表，记录所有物品种类和数量。
2. 任务栈（Task Stack）：将LLM生成的高层计划解析成一个栈结构，当前正在执行的子任务在栈顶，完成则弹出，失败则可能需要压入新的修复子任务。
3. 空间记忆（Spatial Memory）：一个简单的文本或坐标形式的地图，记录已探索区域和重要地标（如家的位置、矿洞入口）。 这些结构化信息会作为系统提示词的一部分，在每一步都提供给LLM，极大减轻其记忆负担，提升决策的连贯性和准确性。

4. 从MineExplorer看AI智能体（AI Agent）的核心架构实现

MineExplorer的评测方式，实际上定义了一个合格的、能在动态世界中运作的AI智能体所应具备的基本架构。我们可以将其抽象为一个通用的、可复现的“感知-思考-行动”循环框架。下面，我将拆解这个框架中的核心模块与实现要点。

4.1 感知模块：超越静态描述的视觉理解

感知模块的输入是原始视觉流（视频帧），输出是对当前环境的结构化理解。它绝不能只是一个“图片描述生成器”。

核心组件与流程：

1. 关键帧抽取与视觉问答（VQA）：并非每一帧都需要深度分析。可以定期（如每秒）或当检测到重大场景变化时，抽取关键帧送入VLM。向VLM提出的问题需要精心设计，以提取结构化、可操作的信息，而非散文式描述。
   • 糟糕的提问：“描述一下这个画面。”
   • 高效的提问：“以列表形式列出视野中所有可交互的物体及其大致方向（左、中、右）和距离（近、中、远）。特别标注出与当前任务相关的物体（如‘石头’、‘树’）。我的背包是空的吗？我手里拿着什么工具？”
2. 空间关系解析：这是静态VLM的弱项。需要通过多角度提问或结合动作反馈来推断。例如，可以主动执行一次小幅度的左右转向，对比转向前后VLM的描述，来更精确地判断物体的相对方位。
3. 状态信息提取：直接从游戏API或界面OCR识别中获取精确数值信息是更可靠的方式，如生命值、饥饿度、物品栏列表、工具耐久度。这比让VLM去“看”屏幕角落的小字要准确得多。感知模块应融合这两种信息源。

实现技巧：提示词工程与VLM交互的提示词（Prompt）是感知质量的关键。它需要明确指令、规定输出格式，并提供上下文。

你是一个在《我的世界》中操作的AI的视觉模块。请分析当前游戏画面。 **当前任务**：收集3块圆石。 **已知信息**：我手中拿着一把木镐。 **请严格按以下JSON格式回答**： { “relevant_objects”: [ // 列出与任务相关的物体 {“name”: “stone”, “direction”: “center”, “distance”: “near”, “action”: “mine”}, ... ], “inventory_status”: “empty_slots: 5”, // 背包状态 “tool_in_hand”: “wooden_pickaxe”, // 手中工具 “immediate_threat”: “none” // 眼前是否有威胁（如怪物） } 只输出JSON，不要有其他文字。

4.2 规划与推理模块：LLM作为“大脑”的强化与约束

LLM是整个智能体的决策核心，但它需要被“架设”在正确的框架内，避免天马行空或脱离实际。

工作流程：

1. 信息整合：接收来自感知模块的结构化环境描述、来自状态跟踪模块的当前状态（任务栈、物品清单等）。
2. 决策生成：基于上述信息和长期目标，决定下一步是“继续当前子任务”、“切换子任务”还是“处理异常”。
3. 输出规范化：LLM的输出必须被严格约束，应生成具体的、可被下游动作规划器解析的高层指令，而非自然语言感慨。

关键设计：系统提示词与思维链（CoT）系统提示词定义了LLM的角色、能力和输出规范。一个强大的系统提示词应包含：

• 角色与目标：“你是一个在《我的世界》中生存的AI，目标是高效准确地完成人类指令。”
• 核心原则：“你的决策必须基于当前感知到的确切环境，不能臆想不存在的东西。优先保证生存（生命值）。工具耐久度是重要资源。”
• 行动规范：“你只能输出以下类型的高层指令之一：NAVIGATE_TO、COLLECT、CRAFT、USE、EQUIP、CHECK_STATE。每条指令必须附带明确的目标参数。”
• 思维过程：鼓励LLM在最终输出前，先以“思考：”为开头进行内部推理，这有助于我们调试其决策逻辑。

示例：LLM的输入与输出

[系统提示词]（如上所述） [用户指令]：终极目标：制作一把石镐。 [状态]：任务栈：[]。背包：木板x4。手中：空。位置：家中。 [感知]：视野内：前方有橡树，左侧远处有山体。 [LLM思考过程]： 思考：终极目标是石镐。配方需要木棍x2和圆石x3。我现在有木板，可以合成木棍。但合成需要工作台。我先得合成工作台。工作台需要木板x4，我正好有。合成后，我需要木棍，然后用木棍和木板合成木镐。有了木镐才能去挖圆石。目前视野里没有石头，我需要先探索找到石头。所以当前步骤：1. 合成工作台。2. 合成木棍。3. 合成木镐。4. 探索寻找石头。 [LLM输出]： 下一步指令：CRAFT 目标：crafting_table 参数：使用木板x4

4.3 动作规划与执行模块：从高层指令到底层动作的翻译

这是连接“思考”与“行动”的桥梁，负责将LLM输出的“CRAFT（crafting_table）”翻译成游戏引擎能理解的一连串原子操作。

模块构成：

1. 指令解析器：识别LLM输出的指令类型和目标。
2. 技能库：预定义了一系列“技能”或“宏动作”的底层实现。例如：
   • 技能_合成(物品名)：检查背包材料 -> 打开工作台界面 -> 将材料放入合成格 -> 点击合成 -> 关闭界面。
   • 技能_挖掘(方向， 距离)：转向对准目标方块 -> 移动到合适距离 -> 循环执行攻击动作直到方块被破坏 -> 前进拾取掉落物。
3. 动作序列生成器：根据当前指令，从技能库中调用相应的技能，并将技能展开成具体的底层动作序列（move,turn,attack,use...）。
4. 执行监控器：发送动作序列到游戏环境，并监控执行后的状态反馈。例如，执行挖掘技能时，需要监控目标方块是否被破坏、工具耐久度是否耗尽、是否挖到了错误方块等。

避坑指南：动作的鲁棒性游戏环境并非理想实验室，动作执行会有误差和延迟。动作规划器必须足够鲁棒：

• 加入容错动作：在“拾取物品”前，先执行一个短暂的“看向地面”动作，确保物品在拾取范围内。
• 状态验证：执行一个技能后，必须通过感知模块验证技能是否成功完成（如合成后，检查背包是否真的出现了新物品）。如果失败，需要将错误信息反馈给LLM，触发重新规划。
• 动作超时与重试：为每个底层动作设置超时时间，如果长时间未达到预期状态（如移动后目标物体未进入视野），则终止当前技能，上报“执行超时”错误。

5. 评测结果分析与对未来模型训练的启示

MineExplorer的评测如同一场严格的大考，成绩单不仅反映了参赛者（各个多模态模型）的当前水平，更深刻地揭示了出题方向（未来AGI所需能力）和备考方法（模型训练的新范式）。

5.1 主流模型在MineExplorer上的典型表现与短板

尽管没有具体的官方排名，但根据类似基准（如“Minecraft with Large Language Models”等研究）的经验，我们可以推断出不同架构模型的典型表现：

常见的失败案例深度剖析：

• “鬼打墙”式导航：模型指令“向左转找树”，动作执行后，VLM描述“视野中有树”，LLM再次指令“向左转找树”……循环往复。原因：LLM未理解“向左转”是一个相对指令，且没有机制确认“找到树”这一子目标已完成。
• “合成失忆”：模型成功合成工作台后，立刻开始寻找石头，完全忘记了接下来需要用工作台合成木棍和木镐。原因：任务栈管理失效，完成一个子目标后没有正确弹出并激活下一个。
• “工具滥用”：模型用斧头去挖石头，或用徒手去砍树，导致效率极低或无法进行。原因：模型记住了“石头需要镐”的文本知识，但未能将“手中的斧头”与“挖掘石头所需的工具”在当下场景中建立关联判断。
• “脆弱规划”：计划“挖5块圆石”，但在挖第3块时遇到了沙砾。模型要么卡住，要么放弃整个任务。原因：规划缺乏弹性，没有设计应对资源不符合预期的备用方案（如“如果遇到沙砾，绕开或挖掉它”）。

5.2 对下一代多模态模型训练的启示与方向

MineExplorer的挑战指向了几个明确的模型能力进化方向，这些方向将深刻影响未来的训练范式。

启示一：从“图文对齐”到“视频-动作-状态”对齐传统的多模态训练数据是（图像， 文本描述）对。未来需要大规模（视频片段， 动作序列， 状态变化）三元组数据。例如，一段玩家挖矿的视频，对应其间的鼠标键盘动作序列，以及动作导致的物品栏、方块状态的变化。这能教会模型理解动作如何影响世界，建立起初步的因果模型。

启示二：强化“具身规划”与“程序性知识”的训练模型不仅要知道“什么是石镐”，更要知道“如何做出一把石镐”。这要求训练数据包含大量任务分解和操作流程的文本。除了维基百科式的陈述性知识，更需要游戏攻略、手工教程、操作手册这类程序性知识。训练目标应从“下一个词预测”部分转向“下一个合理动作预测”或“达成目标的最优步骤预测”。

启示三：引入“仿真环境中的试错学习”静态文本训练无法获得反馈。未来的训练框架可能更接近强化学习（RL），让模型在MineExplorer这样的仿真环境中主动尝试，并根据任务成功/失败获得奖励信号。这可以训练出更鲁棒的错误恢复能力和探索策略。一种可行的混合范式是：先用海量互联网文本和视频进行预训练，获得先验知识；再在仿真环境中进行微调或强化学习，让知识“接地气”。

启示四：架构创新：显式状态管理模块指望LLM的注意力机制隐式地记住所有状态是不现实的。未来的Agent架构可能需要一个专用的、可读写的状态记忆模块。这个模块像智能体的“工作记忆白板”，实时记录物品、位置、任务进度等结构化信息。LLM和VLM可以随时查询和更新这块白板。这将使智能体的思考更加连贯和高效。

启示五：评测基准的引领作用MineExplorer这类动态开放世界评测基准的重要性将日益凸显。它们为模型能力提供了比传统静态基准更全面、更严苛的衡量标尺。未来的模型发布会，可能不仅要展示在MMLU、MATH等学术基准上的分数，更要展示在MineExplorer中完成“从零开始建造一个自动化农场”的复杂任务的效率和成功率。这迫使整个领域的研究重心从“漂亮的对话”转向“有效的行动”。

MineExplorer像一位严格的教练，告诉我们当前的AI冠军们离开了舒适的静态赛场后，在动态竞技场中还显得多么笨拙。但它更是指明了训练的方向：真正的智能，不仅在于知道什么，更在于能在复杂、开放、变化的世界中，运用所知去达成目标。这条从“温室”走向“动态世界”的路，正是通向更通用人工智能的必经之路。