Harvey Legal Agent Benchmark（LAB）：法律AI评估从“读题测验“走向“真实工作“
Harvey Legal Agent Benchmark（LAB）：法律AI评估从"读题测验"走向"真实工作"
核心定位：填补一个具体的评估空白
当前法律 AI 评估领域正处于一次范式切换的门口。Harvey 推出的Legal Agent Benchmark（LAB）所填补的，是一个在此之前长期存在、却少有人正视的空白：现有法律 AI 基准——无论是斯坦福 HazyResearch 主导的LegalBench（162 个任务，以问答/分类为主），还是 Harvey 自家此前发布的BigLaw Bench（以 billable work 为基础的单次任务评估）——本质上都在测"法律知识点的单步推理"，而非"完成一份律师实际工作产品的全程能力"。
LAB 的出发点与 SWE-Bench 对软件工程评估的颠覆逻辑相同：把评估标的从离散的能力测试转向真实的端到端工作流。这是一次有方向的范式升级，但距离"彻底解决法律 AI 评估"还有很长的路。
关键机制：最巧妙的那个设计决策
LAB 最核心的设计哲学，不是任务数量多（1,671 个），也不是覆盖面广（24 个实践领域），而是它的评分机制——"全通过（All-Pass）"评分。
具体而言：每一个任务都有一套由律师手写的原子级二元标准（pass/fail）。整个任务只有在所有标准均通过时才算通过，不存在"答对 8/10 算 80 分"的部分得分。这个设计看似严苛，实则精准对应了法律实践的核心逻辑——合同审查时遗漏一条风险条款，那份报告等于没用，哪怕其余 57 条都对。All-Pass 评分把法律工作"不能有错误"的容错率逻辑直接编码进了评分体系。
辅以此的是环境封闭设计：每个任务都是一个封闭的"客户事务"宇宙，包含相关和无关文档的混合，Agent 必须在其中识别和处理信息，这直接模拟了律所数据室的真实条件。
以典型任务为例——$458M M&A 控制权条款分析：
- 输入：一个虚拟数据室，含约 8 份材料合同 + 周边文档
- 要求输出：一份给交易团队的备忘录，含执行摘要、风险映射、逐合同分析、严重性评级、缓解建议
- 评分标准：9 个法律问题下的 57 条标准，涵盖事实认定、法律结论、引用准确性、财务敞口计算和建议可操作性
这比 LegalBench 的"输入合同条款→判断是否存在私权诉因"要复杂一个量级。
历史对比：比前一代基准好在哪，牺牲了什么
| 维度 | LegalBench（斯坦福） | BigLaw Bench（Harvey 前代） | LAB（Harvey 新版） |
|---|---|---|---|
| 任务数量 | 162 | 有限（以实际 billable 记录为基础） | 1,671 |
| 任务类型 | 问答/分类（单步） | 单次任务型 | 多步骤、端到端工作产品 |
| 评分方式 | 准确率（accuracy） | 答案质量 + 来源可靠性双评分 | All-Pass 全通过 |
| 来源 | 学术协作（40 位贡献者） | 实际 billable 工时记录 | 律师模拟真实合伙人-助理任务 |
| 语境封闭性 | 低（单文档/单问题） | 中等 | 高（数据室/多文档环境） |
LAB 的优势：更接近真实工作，全通过评分高压迫近了法律实践的实际标准。
LAB 的牺牲：All-Pass 使得低分高度密集，早期结果（见下方交叉验证）显示即使是顶级模型全通过率也只有 13-17%，容易造成"所有模型都很差"的感知，不利于精细区分模型进步。此外，任务由 Harvey 自身团队设计，评判者也是 Harvey 的 LLM judge，自评体系的中立性有潜在争议。
交叉验证
信源 1：斯坦福 HazyResearch LegalBench 官网
直接证实了 Harvey 原文的核心前提：现有法律基准（LegalBench 本身）确实只覆盖离散任务（如 hearsay 判断、CUAD 合同条款提取），不评估端到端工作流执行能力。LegalBench 官网明确描述自己是"legal reasoning tasks"而非"real legal work"，这与 Harvey 博客中"prior benchmarks test short-horizon reasoning"的批判完全吻合，形成正向印证。
信源 2：CSDN/gabormelli 关于 BigLaw Bench 与 LAB 模型评分的报道
从 CSDN 技术社区和 gabormelli.com 的独立整理中可以找到早期评测数据：Anthropic 的 Fable 5 在 LAB 保留集上的全通过率仅为13.3%，Mythos 5 在公开集上全通过率约16.91%，平均单标准通过率约 92%——这意味着即便每一步都对，All-Pass 的累积乘法效应仍使整体通过率极低。这些数据补充了 Harvey 官方博客"尚未公开排行榜"时缺失的具体数字，同时也部分验证了 All-Pass 机制的高压性质：平均标准通过率 92% 算不错，但全任务通过率仅约 15%，反映了法律工作"全局正确"的极高门槛。BigLaw Bench 上 GPT-5 达到 89.22%（单步任务评分），与 LAB 的 13-17% 全通过率形成鲜明对比，两个数字并不矛盾，而是描述了不同评估维度。
我的推演判断
基于机制和对比，可以做出以下独立推断（非转述原文）：
All-Pass 机制会成为法律 AI 进步的显性标尺，但短期内会制造"模型都很差"的舆论效应。预计未来版本会补充"部分通过"分数作为辅助指标，同时保留全通过率作为最高标准。
Harvey 将这个基准开源并拉来 Anthropic/OpenAI/Google DeepMind 联署，本质是一步生态战略棋——谁在这个基准上刷高了分，就变相为 Harvey 平台做了背书。这个基准既是行业标准，也是 Harvey 的营销工具，二者不矛盾但值得清醒认知。
LegalBench 不会消亡，它的细粒度任务仍有学术价值，LAB 与它的关系更像"IQ测试 vs. 实习考核"——两者评估不同层次的能力。未来法律 AI 评估体系很可能是分层的：知识/推理层（LegalBench 类）+ 工作流执行层（LAB 类）+ 结果质量层（律师盲审）。
局限与边界
不要被以下几点过度说服：
任务的"真实性"有限：文档是虚构构建的（"fictional $458M acquisition"），而非真实匿名案件。真实法律工作中的信息不完整性、客户沟通的模糊性、证据突发变化等要素，LAB 暂时无法模拟。
自评体系值得审视：LAB 使用 LLM judge 评判 agent 输出，虽然原始 rubric 由人类律师编写，但最终判定仍由模型完成。Harvey 同时是基准设计者和参赛者，这在任何同类基准（包括 BigLaw Bench）中都是潜在的中立性问题。
覆盖的是精英法律工作：24 个实践领域都是 BigLaw 核心业务，LAB 对公益法、小额法庭、法律援助等场景没有代表性，不适用于评估面向普通用户的法律 AI 工具。
任务引用年份是 2026：citation 中标注
year = 2026，说明这是一个仍在演进的活体基准，当前结论随时可能因任务集扩充而改变，不宜将任何早期排名视为定论。
代码示例：典型任务结构（简化版）
{ "task_id": "ma_coc_analysis_001", "practice_area": "M&A / Transactional", "instructions": "Review the attached data room and prepare a deal-team memo identifying change-of-control provisions that may be triggered by the proposed $458M acquisition.", "environment": { "documents": ["purchase_agreement.pdf", "license_agreements/", "employment_contracts/", "adjacent_emails/"], "type": "closed_universe" }, "output_type": "legal_memo", "rubric": { "total_criteria": 57, "scoring_method": "all_pass", "categories": [ "factual_accuracy", "legal_conclusions", "citation_precision", "financial_exposure_calculation", "mitigation_recommendations" ] } }# 运行评估的基本流程（参考 docs/tutorial.md） git clone https://github.com/harveyai/harvey-labs cd harvey-labs # 配置你的 agent adapter cp config/adapter.example.yaml config/adapter.yaml # 在单个任务上运行 agent python harness/run.py --task tasks/ma_coc_001 --agent gpt4o # 查看得分报告 python harness/report.py --run-id <run_id>个人启发：对开发者和决策者的实际建议
对 AI 工程师 / 研究者：
LAB 是目前最贴近真实法律工作流的开源评估工具。如果你在构建法律 Agent，不要只用 LegalBench 调参——LegalBench 的高分不代表 Agent 能完成真实交付物。建议将 LAB 的 rubric 设计方法（原子级 binary 标准 + All-Pass）借鉴到自己产品的内部评测中，它的思路可泛化到任何"专业服务类 AI"场景（医疗报告、财务分析）。
对法律科技决策者 / 律所技术负责人：
LAB 给了你一个可以"用同一把尺子量不同模型"的工具。重点看全通过率而非单标准通过率——一个模型 92% 单标准准确但只有 13% 全任务通过，意味着它不能独立完成工作，只能作为辅助工具而非自动化工具。在自动化决策上，All-Pass 率是更诚实的参考指标。
对普通用户：
LAB 的存在意味着法律 AI 的能力正在变得可测量、可比较，这是行业走向成熟的信号。但目前最强模型仍只有约 15% 的全任务通过率，意味着高风险法律工作仍不能无人值守地交给 AI——这不是过度谨慎，而是 LAB 数据本身告诉你的结论。
延伸思考
All-Pass 与部分通过的张力：全通过率极低会让用户产生"AI 一无是处"的误判，而平均标准通过率 92% 又可能被用于过度包装产品能力。法律 AI 评估是否需要引入"风险加权评分"——遗漏高风险条款的惩罚远大于遗漏低风险条款？这套评分体系如何在严苛与可用之间找到平衡？
谁来维护中立性：Harvey 既设计基准、也参赛竞争，这在 SWE-Bench（由学术机构设计）中不存在的利益冲突，在 LAB 中是真实存在的。随着更多模型跑出成绩，法律 AI 领域是否需要一个类似 MLCommons 的中立第三方来托管和维护这类基准？
从评估到部署的最后一公里：LAB 测的是"Agent 是否能生产出符合标准的工作成果"，但律所真正关心的是"这个 AI 的错误是否是系统性的、可预测的、在哪类任务上会失败"。未来基准能否从"通过/失败"进化到"失败原因分类"——帮助律所判断哪些任务可以安全自动化、哪些必须人工审核？
📚 参考来源
- GitHub - harveyai/harvey-labs: A benchmark built to evaluate and improve agent capabilities for supporting legal work. · GitHub