LLM排名平台脆弱性研究

MIT的一项新研究显示，基于众包用户反馈的LLM（大语言模型）排名平台可能并不可靠。研究人员发现，只需移除极其微小的一部分数据，就足以显著改变模型的最终排名结果。

为此，他们开发了一种快速评估方法，能够识别出对排名结果影响最大的少数投票数据，从而帮助用户判断所依赖的排行榜是否稳定。

排名数据的高度敏感性

一家希望利用LLM来总结销售报告或处理客户咨询的公司，可以从数百种各具微小性能差异的模型中做出选择。为了缩小选择范围，公司经常使用LLM排名平台。这些平台收集用户对模型交互的反馈，根据模型在特定任务上的表现进行排名。

然而，MIT的研究表明，少数用户交互就可能导致结果出现偏差。他们的研究显示，移除极少量的众包数据（例如，在一个超过5.7万个投票的数据集中仅移除两个投票），就能改变排名第一的模型。

“如果顶尖LLM的排名仅由两三条用户反馈决定，那么当它被部署时，我们就不能理所当然地认为它会持续优于所有其他模型，”该研究的资深作者、MIT电子工程与计算机科学系副教授Tamara Broderick表示。

近似方法的提出与验证

由于手动测试海量数据子集（例如从5.7万票中移除0.1%即57票，其组合数量是天文数字）在计算上不可行，研究人员基于先前工作开发了一种高效的近似评估方法。

该方法能够明确指出哪些数据点可能导致排名不稳定。用户可以直接剔除这些可疑数据点，重新运行分析，查看排名是否发生变化。应用该方法后，研究团队惊讶地发现，只需极少的“关键票”就能颠覆现有排名。

问题根源与改进建议

分析显示，这些高影响力的投票可能源于用户失误，例如误操作、注意力不集中，或确实难以判断哪个响应更好。

相比之下，一个使用专业标注者和更高质量提示词的另一排名平台鲁棒性稍好，移除约3%的数据才会导致顶尖模型互换。

研究团队建议，为提升平台鲁棒性，可以收集更丰富的反馈（如用户对每次投票的置信度），或引入人工审核员来评估众包回答。从长远看，需要更严谨的策略来评估模型排名。对于依赖排行榜决策的用户，这无疑是一个重要的警示：当前排名可能并未反映出模型真实的、泛化的性能差异。FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）