以下是四个 AI 评测基准的对比总结：
| 基准 | 领域 | 数据来源 | 样本量 | 任务形式 | 核心指标 | 防数据污染策略 | 代表意义 |
|---|---|---|---|---|---|---|---|
| SWE-Bench Verified | 软件工程 | 真实 GitHub Issue + PR（Django、scikit-learn 等） | 500 个（从 2,294 个人工筛选） | 给定仓库和 Issue，生成代码补丁修复问题 | Resolved Rate（解决率） | 人工审核去噪 | AI 能否像真正的工程师一样修复真实代码 |
| HMMT 25 | 数学推理 | 哈佛-MIT 数学竞赛 2025 年真题 | 每年竞赛题量级 | 解答高难度数学竞赛题（代数、组合、几何、数论） | 正确解题率 | 使用最新年份题目 | AI 数学推理能力的天花板测试 |
| LiveCodeBench | 编程 / 算法 | LeetCode、Codeforces、AtCoder 等平台新题 | 持续增长 | 代码生成、自我修复、执行预测等 | Pass@1（一次通过率） | 持续收集新发布的竞赛题 | AI 编程能力的"活"基准，动态防泄露 |
| ARC-AGI-V2 | 抽象推理 / 通用智能 | François Chollet（Keras 作者）团队设计 | 数百道 | 根据示例推断网格变换规则并应用到新输入 | 正确率 | 每题规则独特，无法靠记忆 | 衡量 AI 是否接近 AGI 的试金石 |
一句话总结：
- SWE-Bench Verified → 能不能修 Bug 🛠️
- HMMT 25 → 能不能做奥数 🧮
- LiveCodeBench → 能不能刷题 💻
- ARC-AGI-V2 → 能不能举一反三 🧠