数据集汇总丨AI Agent 评测数据集，Microsoft/北大/港大/上海交大等发布 10 个数据集，从长程记忆到真实环境任务执行全覆盖

在大模型能力不断扩展的当下，AI Agent 正从「对话工具」快速走向「任务执行者」，并开始在自动化办公、代码生成、数据分析与复杂流程处理等场景中被广泛应用。相比传统的问答式大语言模型（LLM），Agent 的核心变化在于：它不再只是回答问题，而是能够拆解任务、调用工具，并自主推进直至完成目标。

随着 Agent 能力边界的扩展，用于训练与评测的数据集变得尤为关键。不同于传统的单轮问答或静态任务数据，Agent 相关数据集更强调「过程能力」，例如长程规划、多步推理、工具使用以及记忆能力。这些数据决定了模型能否在真实复杂的任务中稳定运行，也直接影响 Agent 系统的可靠性与上限。

本文整理的 10 个相关数据集，覆盖了当前 Agent 研究中的几个核心能力方向：长上下文理解与记忆评估、复杂任务规划与多步推理、工具调用与交互式执行能力，以及真实或模拟环境下的任务完成能力。这些数据共同构成了对 AI Agent 能力的系统性刻画。

从这些数据集的构成方式也可以看出，评测与训练数据本身正在发生转变：从静态的问答标注，逐渐走向对交互过程与行为轨迹的建模，更强调数据对模型「做事」能力的支撑，而不只是「回答」能力。

以下数据集支持在 HyperAI 在线使用，旨在加速研究人员与开发者在相关领域的研究探索。

更多优质数据集：

Datasets | HyperAI

数据集推荐

1.RHELM 长程记忆评估数据集

* 在线使用：

RHELM 长程记忆评估数据集 | 数据集 | HyperAI超神经

RHELM 是由 Microsoft 于 2026 年发布的长程记忆能力评估数据集，相关论文成果为Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory，旨在提升大模型在复杂动态场景中的长期记忆、多跳推理与时序信息合成能力，广泛应用于大语言模型长时序记忆评测、 AI 助手长期交互能力验证、大模型多跳推理、时序信息融合与幻觉检测等研究场景。

该数据集包含 10 组虚拟角色人设、 1,305 组问答对、 629 个 JSON 格式对话会话、 625 个 TXT 格式邮件线程以及 1,053 个 MD 、 HTML 格式附件文档，配套问题涵盖附件引用、混合推理、事实查询、幻觉检测、信息聚合、时序分析及误导性问题七大核心类型。

2.MemLens 多模态长上下文基准数据集

* 在线使用：

MemLens 多模态长上下文基准数据集 | 数据集 | HyperAI超神经

MemLens 是一个用于评估视觉语言模型长程对话记忆的基准数据集，旨在测试模型在 32K 、 64K 、 128K 及 256K 上下文窗口中，检索、回忆、更新及推理跨多会话对话中嵌入的视觉与文本信息的能力。 该数据集共包含 789 道题目，涵盖 5 种评估类型：信息提取、知识更新、时序推理、多会话推理与拒绝回答（Abstention），并提供 4 个上下文长度配置（32K / 64K / 128K / 256K）。

该数据集额外提供一份 195 道题的固定分层采样子集，专门用于内存增强智能体（Memory-augmented Agents）的评估，以平衡推理成本。

3.LongBlocks 长上下文多语言问答数据集

* 在线使用：

LongBlocks 长上下文多语言问答数据集 | 数据集 | HyperAI超神经

LongBlocks 是由里斯本大学、 Instituto de Telecomunicações 联合 TransPerfect 等机构于 2026 年发布的一个长上下文多语言合成数据集。 该数据集包含约 19.4 万条长上下文问答示例，涵盖书籍、网页文本、 Wiki 百科、 arXiv 论文、编程代码及社区问答等长文档语料。

4.AgentTrove 智能体交互轨迹数据集

* 在线使用：

AgentTrove 智能体交互轨迹数据集 | 数据集 | HyperAI超神经

AgentTrove 是由 OpenThoughts-Agent 团队发布的大规模开源智能体交互轨迹数据集。 该数据集包含 1,696,847 行数据，源自 219 个数据集，涵盖代码修复、 Shell 脚本编写、数学问题解决、编程竞赛及通用计算机使用等任务领域。所有轨迹均基于开源 Harbor 智能体评估与数据生成框架采集，并统一采用 terminus-2 harness 格式（类 ShareGPT 对话布局）发布。

5.Claw-Eval 真实世界评测基准数据集

* 在线使用：

https://go.hyper.ai/es8w6

Claw-Eval 是由北京大学联合香港大学于 2026 年发布的一个面向 AI Agent 真实世界任务评测的端到端透明评测基准数据集，相关论文成果为 Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents，旨在评估自主智能体在真实环境中的任务执行、工具调用、多模态理解及多轮交互能力，广泛应用于 Agent 系统评测、自动化任务执行、多模态智能体研究及大模型能力分析等方向。

该数据集支持英文与中文两种语言，包含 General 、 Multimodal 与 Multi-turn 三个核心任务组，共覆盖通信、金融、办公、生产力工具等 24 个任务类别。

6.OpenMementos 上下文记忆压缩数据集

* 在线使用：

https://go.hyper.ai/tKykx

OpenMementos 是由 Microsoft 于 2026 年发布的一个上下文记忆压缩数据集，面向大模型长链推理与上下文管理能力建模。该数据集旨在训练模型进行上下文压缩与持续推理，从而支持在有限上下文窗口下完成复杂多步推理任务，广泛适用于长链推理建模、记忆增强模型训练及高效生成等研究场景。

该数据集基于 OpenThoughts 推理数据构建，包含 228,557 条结构化推理轨迹，其中数学 123,333 条，科学 61,485 条，编程 43,739 条，每条数据的平均句子数为 187 句。

7.MIA 多步推理与决策轨迹数据集

* 在线使用：

https://go.hyper.ai/LZ4yR

MIA 是由华东师范大学、上海创新研究院和哈尔滨工业大学于 2026 年 4 月联合发布的一个用于训练和评估具备长期记忆与任务执行能力的智能体的数据集，相关论文成果为 Memory Intelligence Agent，旨在提升智能体的长期记忆利用与多步决策能力。 该数据集包含约 2.1 万条推理轨迹数据，涵盖问题、规划、搜索与执行全过程，适用于 Agent 推理与强化学习研究。

8.ToolACE 复杂工具学习对话数据集

* 在线使用：

https://go.hyper.ai/TkOp8

ToolACE 是由上海交通大学联合中国科学技术大学、华为诺亚方舟实验室等机构于 2024 年发布的一个面向工具学习任务的自动化代理管道数据集，相关论文成果为 ToolACE: Winning the Points of LLM Function Calling，旨在生成准确、复杂且多样化的工具学习数据，尤其针对工具学习中数据质量不足、场景单一等现实问题进行设计。

该数据集包含多步骤会话示例，共调用 26,507 个多样化 API 。样本通过多智能体交互生成，并经过规则检查 + 模型验证的双层质量保证。每条对话都是多步骤、多来源的信息检索与分析任务，真实模拟工具调用场景，为 LLM 提供高价值训练数据。

9.Creative Professionals 创意任务指令数据集

* 在线使用：

https://go.hyper.ai/0vYFw

Creative Professionals Agentic Tasks 是一个大规模、高保真合成任务数据集，专为多模态 AI 代理的训练、评估和微调设计，包含 1,070,917 个智能体代理命令操作，涵盖 36 种创意、技术和工程软件环境。数据集旨在探索复杂软件交互和多步推理。

10.AgentNet 桌面操作任务数据集

* 在线使用：

https://go.hyper.ai/v6xOG

AgentNet 是由香港大学 XLANG 实验室，联合 Moonshot AI 、斯坦福大学等机构，于 2025 年发布的首个大规模桌面计算机使用智能体轨迹数据集，相关论文成果为「OPENCUA: Open Foundations for Computer-Use Agents」，旨在支持与评测跨平台的 GUI 操作智能体与视觉-语言-动作（VLA）模型。

数据集包含 22.6K 条人工标注的电脑使用任务轨迹，覆盖 Windows / macOS / Ubuntu 三大系统与 200+ 个应用/网站，场景涉及办公、专业、日常、系统四类。适用于桌面自动化、多应用流程与跨平台代理的训练与评估。

以上就是本期推荐的所有数据集，快来一键下载使用吧～