大模型复合基准评估指标-AAII
Artificial Analysis Intelligence Index(AAII)是Artificial Analysis推出的一项综合性基准评分。
AAII旨在衡量和追踪大型语言模型的综合智能水平。
1 评分方式
AAII是一个复合基准分，通过加权平均多个单项评测得分，评估模型在推理、编程、知识、指令遵循、科学推理及多步骤任务执行等多方面的能力。得分从0到100分，AAII作为一个综合指标，防止模型在单一领域“偏科”，为追踪AI向通用人工智能（AGI）的进展提供一个统一的参考。
2 面向智能体
2026年6月15日，Artificial Analysis发布了Intelligence Index v4.1。此版本标志着评测重心向智能体负载的重大转变。
2.1 更新与重加权评测项
1）升级
将Terminal-Bench Hard升级为更难的Terminal-Bench v2.1；将τ²-Bench Telecom升级为τ³-Bench Banking，以包含更真实的智能体场景。
2）替换
将GDPval-AA升级为GDPval-AA v2，重新校准了评分基准。
3）移除
由于已无法有效区分前沿模型，移除了已饱和的IFBench基准。
2.2 新增指标
新增了单任务成本（Cost per Task）、单任务时间（Time per Task） 和单任务令牌数（Tokens per Task） 三个维度，为模型的实际应用提供更全面的参考。
3 评测构成与权重
根据最新论文，Intelligence Index v4.1由9项评测构成。
并分为四个大类，其中智能体（Agents）能力的权重最高。
| 类别 | 权重 | 包含的评测项 |
|---|---|---|
| 智能体 (Agents) | 34% | GDPval-AA v2 (20%), ³-Banking (14%) |
| 编程 (Coding) | 24% | Terminal-Bench v2.1 (16%), SciCode (8%) |
| 科学推理 (Scientific Reasoning) | 24% | Humanity's Last Exam (12%), GPQA Diamond (6%), CritPt (6%) |
| 通用 (General) | 18% | AA-LCR (6%), AA-Omniscience (12%) |
需要注意的是，v4.0版本曾包含10项评测，而v4.1版本移除IFBench后调整为9项。
4 最新排名表现
根据Artificial Analysis于2026年6月15日发布的数据：
1）整体领先
Claude Fable 5（使用Opus 4.8备选）以60分领跑，但该模型暂不可用。
在可用模型中，Claude Opus 4.8（得分56）领先于GPT-5.5（得分55）。
2）开源模型领先
在开源权重模型中，DeepSeek V4 Pro和MiniMax M3均以44分并列领先。
3）成本与效率：
最贵：Claude Opus 4.8完成一个智能指数任务的平均成本为1.78美元。
性价比高：DeepSeek V4 Pro的单任务成本仅为0.04美元，得分44分，其成本是GPT-5.5（0.99美元）的1/20，是Claude Opus 4.8的1/40。
速度最快：Grok 4.3完成单任务平均仅需1.5分钟。
5 相关指数
Artificial Analysis Intelligence Index是一个动态更新、旨在紧跟AI发展前沿的综合性评测体系，其最新版本v4.1显著加强了对模型执行复杂、多步骤“智能体”任务的考核。Artificial Analysis还提供其他专业指数：
1）Artificial Analysis Openness Index
一个衡量模型开放程度的复合指标，评估在权重、训练数据、架构等方面的可用性和透明度。
2）Agentic Index
专门衡量模型在智能体工作流中的表现，如工具使用、规划、自主性等。
3）行业特定指数
2026年7月，Artificial Analysis还推出了针对金融、法律和医疗等专业领域的六个新AI能力指数。
reference
---
Comparison of Models: Intelligence, Performance & Price Analysis
https://artificialanalysis.ai/models
Qwen3.5: Towards Native Multimodal Agents
https://qwen.ai/blog?id=qwen3.5
Qwen3 Technical Report
https://arxiv.org/abs/2505.09388