【第6章 AI 应用评测与监控】6.1 LLM 应用评测体系：任务级与对话级评估指标

目录

写在前面

一、为什么需要评测体系

二、任务级评估指标

2.1 分类任务的评估

2.2 生成任务的评估

三、对话级评估指标

3.1 上下文相关指标

3.2 自动化对话评估框架

3.3 端到端对话评估指标

四、实战：用 Python 构建轻量级评测框架

五、延展阅读

写在前面

凌晨两点，某电商平台的 AI 客服系统突然收到大量用户投诉：“退货流程说不清楚”、“回答牛头不对马嘴”、“让我等了三分钟就说了句'请问还有什么可以帮您'”。

技术团队连夜排查后发现，问题出在上周上线的模型微调版本上——它在标准测试集上的准确率明明高达92%，为什么到了真实用户场景就“水土不服”？

这个真实发生的故事揭示了一个关键问题：LLM 应用的效果不能只看一个数字。我们需要一套完整的评测体系来回答“模型到底表现如何”、“哪里还有提升空间”、“上线前如何把关”这三个核心问题。

今天，我们就来系统性地拆解 LLM 评测体系的构建方法。

一、为什么需要评测体系

让我们先理解评测的本质目的。
LLM 应用评测不是为了让报告好看，而是为了回答三个关键问题：

第一，模型在特定任务上的能力边界在哪里？第二，不同版本或不同模型之间的效果差异