大模型---大模型的评测

目录

一.训练阶段指标

二.生成任务指标

三.大模型的评测基准

四.Arena/人类偏好评测

五.长上下文评测

六.当前评测面临的问题

本篇偏向汇总，不是详细梳理：

一.训练阶段指标

（1）交叉熵

训练阶段如何看模型学得怎么样，这里最核心的是交叉熵（Cross-Entropy）/负对数似然（NLL）。对语言模型来说，本质任务是“给下一个 token 分配概率”；训练时最常见的目标，就是让模型给真实 token 更高概率。对 one-hot 标签而言，交叉熵就等价于“真实 token 概率的负对数”，真实 token 概率越高，loss 越低。更严格地说，交叉熵满足：

其中，H(p)表示熵，也就是真实分布p本身有多“不确定”；H(p,q)：交叉熵，也就是，如果真实分布是p，但你却用q来描述它，要付出多大代价；(pq)：KL散度，预测分布q和真实分布p之间差了多少。所以当真实分布 p 固定时，最小化交叉熵，本质上就是让预测分布 q 逼近真实分布。

（2）困惑度（Perplexity）

困惑度可以理解成语言模型平均每一步“有多难选下一个 token”。如果用自然对数，通常有：

PPL=81 就像从 81 个候选词里选一个，PPL 越低越好。对固定上下文窗口的模型，评估 PPL 时最好采用sliding window，而不是粗暴地分块截断。这里还要注意，PPL 不能脱离 tokenizer 直接横向比较。因为模型是对 token 序列建模，不同 tokenizer 会直接改变 token 切分方式，从而影响 perplexity。

二.生成任务指标

（1）BLEU

BLEU 是机器翻译中非常经典的自动指标，本质上是基于 n-gram 的精确率（precision），再配上brevity penalty，防止模型只输出很短的结果也拿高分。它适合“参考答案相对固定”的任务，比如机器翻译。

针对机器翻译，BLEU计算的是候选译文与参考译文之间n-gram的重合度(精确率)。如果参考译文本身就不唯一、变化很大，那么一个很好的生成结果可能因为和某一个固定参考译文的重叠率低而得低分。例如，假设一个源句有多种完全不同的正确翻译(比如文学性意译)，BLEU只会机械地对比n-gram是否出现，无法判断“意思对但措辞完全不同”的情况，容易误判。