3.4 模型排名与Elo：Pairwise对比评估实战指南

模型排名与Elo：Pairwise对比评估实战指南

两两对比、Elo 排名、偏好模型，如何科学评估模型优劣？本节基于《AI工程》第3章「Evaluation Methodology」— Ranking Models with Comparative Evaluation：Challenges、Pairwise、Elo、偏好模型。

一、为什么需要对比评估？

Chip Huyen 在《AI工程》第3章将对比评估（Comparative Evaluation）列为评估方法论的重要组成。单独给模型打分难以反映相对优劣。用户更关心「A 和 B 哪个更好」。Pairwise 对比 + Elo 排名，能给出可解释的模型排序。书中还讨论了对比评估的挑战与未来方向。

单独给模型打分难以反映相对优劣。用户更关心「A 和 B 哪个更好」。Pairwise 对比 + Elo 排名，能给出可解释的模型排序。

二、Pairwise 比较

2.1 原理

对同一 prompt，比较两个模型的输出，判断哪个更好。重复多次，形成胜负矩阵。