第十三章：Agent的评估指标——如何衡量一个AI Agent好不好

难度级别：★★★★☆ | 预计阅读时间：15分钟

你将学到：Agent评估的四个核心维度（任务完成率/输出质量/成本效率/延迟吞吐）、2026年主流Benchmark（TAU-bench/SWE-bench/WebArena/GAIA）、Eval Suite构建方法、以及PM可直接使用的评估框架

引言：你的Agent好用吗？

你的Agent上线一周了。它处理客服工单、写代码、管理工作流。问题来了：你真的知道它work吗？

传统软件测试给二进制答案——给定输入X，期望输出Y。但AI Agent测试完全不同：

• 非确定性输出：同样输入可能产生不同输出
• 多步推理链：中间步骤出错，最终结果可能也对（反之亦然）
• 质量的主观性：context决定什么是"好"——一个标记所有代码风格问题的agent，技术上正确，实际上无用

这并不意味着Agent无法被严格测试。只是你需要不同的工具。

1. 四大核心评估维度

Agent评估归结为四个维度。忽略任何一个，你就会有盲区——最终变成生产事故。

┌─────────────────────────────────────────────────────────────┐ │