前 DeepMind 研究员反思：评测，而非算力或数据，才是下一阶段的瓶颈

一线后训练研究员的技术随笔与动态评测管线启示

当你还在为某项主流基准的分数微涨而讨论时，模型可能已悄悄学会“只说真话但战略性隐瞒”。前 Google DeepMind 高级研究员 Lun Wang 在近期的技术长文中抛出一个反直觉观察：如果下一代大模型跨进了全新的能力区间，我们引以为傲的静态基准不仅无法预警，反而会安静失效。

这不是危言耸听，而是工程一线的真实痛点。当前的主流评测体系，本质上是在用去年的尺子量今年的模型。

这段定调引文直接点破了评测基础设施的滞后性。作者指出，当模型行为分布发生质变时，旧基准的分数可能还在涨，但它的诊断力已经归零。在反应式评测范式下，静态基准的更新节奏往往追不上模型能力跃迁的频率。

“安静失效”：当尺子量错了对象none !important

目前行业普遍依赖的评测方式，在学术上被称为反应式评测（Reactive Evaluation）。说白了，就是“模型先变，考卷后补”。

这种模式隐含了一个强假设：下一代模型只是上一代的线性增强版。只要题库够大、难度够高，就能一直压测出性能边界。但问题来了：如果模型突然掌握了某种从未被定义的推理范式，或者学会了复杂的工具链调用，旧尺子根本够不着新维度。

这比分数下降更危险。分数下降至少会触发警报，而指标与真实能力彻底脱钩时，系统只会“安静失效”。很多 benchmark 的更新速度赶不上开源社区的迭代频率，把 exact-match 当真理，就像把体重计读数当成健康的全部指标。刷榜分数的上涨，很容易掩盖模型真实行为分布的悄悄偏移。

是真实跃迁，还是度量盲区？none !important

大模型在规模扩大或训练后期，经常会出现性能分布的陡增。学界曾将其称为“涌现能力”。但 Schaeffer 等人后续的研究指出，其中一部分“跳跃”其实是度量伪影（Metric Artifact）：只是因为指标本身是非连续的，换用连续评分曲线就会发现，能力增长其实是平滑的。

这场争议反而暴露了当前工具的脆弱性。如果我们连过去的跃迁是真是假都难以判定，又怎么探测下一次变化？

受统计力学启发，作者主张在模型评测中引入序参量（Order Parameter）的概念。它是系统状态的宏观指示器（类似水烧开前的温度和气压阈值），能提前标记能力区间/相变（Capability Regime / Phase Transition）的临界点。

目前，Nanda 等人已在小规模实验中验证了通过内部进展度量预测“顿悟（Grokking）”的可行性。但在工业级大模型上，如何稳定提取这类宏观信号，向千亿/万亿级工业模型稳定提取的可行性与具体路径尚无定论，目前仍停留在小规模验证与概念倡议阶段。

评测不是终点，而是训练的“方向盘”none !important

为什么作者断言，评测而非算力或数据，才是下一阶段的瓶颈？逻辑链条其实很工程化：训练的本质是优化，而优化目标完全由评测体系定义。

如果评测信号能准确反映模型在新能力区间的表现，团队就能设计出更精准的 RLHF 奖励模型、更稳固的安全对齐层，以及更合理的 Scaling 决策。反之，如果评测校准在了错误的区间，训练信号、安全阈值和资源投入都会沿着错误方向狂奔，且团队在模型上线前毫无察觉。

掌握预测性评测能力的实验室，理论上能更安全地推进规模扩展。但这属于作者基于后训练经验的技术立场。（需指出的是，在实际工业管线中，头部团队通常已采用多基准交叉验证、自动化红队与人工冗余作为兜底，静态评测虽存在滞后性，但并未完全失效。）

理论很性感，落地有多远？none !important

提出构想相对容易，构建基础设施则是另一回事。作者呼吁构建自演进评测（Self-evolving Evals）：用模型探测模型，自动生成对抗用例，实现评测与模型同步进化。

这段结语描绘了动态评测的终极形态。但在工程账本上，这笔投入并不轻松。

首先，自演进系统极易陷入循环优化与评估者偏见。如果生成测试题的裁判模型自身存在盲区，它产出的对抗样本可能只是在强化自己的错误认知。

其次，文中提到的策略性省略（Strategic Omission）场景极具启发性，但作者明确这只是思想实验，目前缺乏实际对抗测试数据支撑。如何量化这种“说真话但隐瞒关键信息”的行为，传统诚实度基准确实无力，新基准的设计成本也极高。

最后，将理论概念外推到复杂的大模型系统中，其抗干扰能力与泛化性如何保证，仍需大量实证研究。

对当前管线：能做什么，先做什么none !important

抛开宏大的架构设想，这篇长文对一线算法与评测工程师仍有直接的启发。对于当前研发管线，在下一代预测性评测成熟前，可优先在监测侧做如下收敛：

第一，从单一准确率指标，转向分布偏移监测与相关性分析。关注不同基准间得分相关结构的突变，这往往是模型行为逻辑改变的早期信号。

第二，追踪 Scaling 曲线中的元信号。不要只盯着 Loss 和 Final Accuracy，把推理深度、多步规划成功率、工具调用模式等维度纳入监控面板。

第三，动态生成用例必须与独立红队流程解耦。可以用 LLM 辅助生成边界测试，但核心安全红线与合规评估，依然需要保留人工审计与独立第三方验证的兜底机制。

评测的终局不是做出一套永不落伍的考卷，而是建立一套能实时感知水温变化的雷达。在能力跃迁变得愈发频繁的今天，承认现有尺子的局限，或许才是构建下一代安全 AI 的第一步。

原文：Your Evals Will Break and You Won't See It Coming
作者：Lun Wang (前 Google DeepMind 高级研究员)
链接：https://wanglun1996.github.io/blog/your-evals-will-break.html