Anthropic 最近放出了一个叫 Bloom 的开源框架，专门用来测试大语言模型会不会出现某些特定行为。比如模型是不是会阿谀奉承用户、有没有政治倾向、会不会为了自保撒谎或者试图绕过监督机制这类问题。
这个框架跟常规的评估基准不太一样。传统基准都是固定的测试集而 Bloom 会根据你的配置“长”出不同的评估内容，这也是为什么叫这么个植物学的名字。
工作流程：四个阶段搞定评估
Bloom 的整个流程分四步：从你提供的"种子"配置开始，最后生成完整的行为评估报告。配置文件里可以设置全局参数、每个 agent 用什么模型、推理时给多少算力这些。跑完之后能看到单次执行的指标（引发难度、评估有效性之类），还有整个测试套件的统计数据（比如多样性），配套的转录查看器能让你直接看对话记录。
https://avoid.overfit.cn/post/2f8cc3a0b3154e6f93ecdd4be32c47d8