SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

SkillsBench 论文核心总结与关键翻译

一、主要内容

本文针对大语言模型（LLM）代理的技能（Agent Skills）缺乏标准化评估方法的问题，提出了首个聚焦技能评估的基准测试平台SKILLSBENCH。该平台通过系统实验量化了技能对代理性能的影响，核心内容如下：

1. 基准测试设计

• 任务覆盖：包含11个领域的84个任务（源自322个候选任务的严格筛选），涵盖医疗、制造、软件工程、金融等，按难度分为核心级（<60分钟）、扩展级（1-4小时）和极限级（>4小时）。
• 评估条件：每个任务在三种条件下测试——无技能（仅任务说明）、人工精选技能（含指令、代码模板等结构化资源）、模型自生成技能（提示模型自主创建程序性知识）。
• 实验配置：测试7种代理-模型组合（3种商业代理框架：Claude Code、Gemini CLI、Codex CLI；7种前沿模型：GPT-5.2、Claude Opus 4.5/4.6等），累计7,308条有效执行轨迹。

2. 核心实验发现

• 人工精选技能平均提升通过率16.2个百分点，但领域差异显著：医疗领域受益最大（+51.9pp），软件工程领域提升最小（+4.5pp）。
• 模型自生成技能无正面收益（平均-1.3pp），仅Claude Op