2025_NIPS_Provable Scaling Laws for the Test-Time Compute of Large Language Models

文章核心总结与翻译

一、主要内容

文章针对大型语言模型（LLMs）在高风险场景中可靠性不足的问题，提出两种具有可证明缩放定律的测试时计算优化算法——淘汰赛式算法和联赛式算法，通过多候选生成与聚合提升任务成功率，无需外部验证器或奖励模型，仅依赖黑盒LLM即可实现。

核心目标

解决LLMs在高成功率需求场景（如99.9%正确率）中的性能瓶颈，通过增加测试时计算资源，使算法成功率可任意接近100%。

关键算法

1. 淘汰赛式算法：生成N个候选解后，通过多轮 pairwise 比较淘汰候选，最终胜出者作为输出。支持N和K（每对比较次数）共同缩放或仅N缩放，失败概率呈指数或幂律衰减。
2. 联赛式算法：生成N个候选解后，每个候选与K个随机对手比较并计算平均胜率，选择胜率最高者作为输出。假设条件更稳健，失败概率呈指数衰减。

实验验证

在GPQA、MMLU-Pro、MATH-500等数据集上，通过Llama3.1、Qwen2.5、GPT-4o等模型验证，两种算法均展现出优异的缩放性能，且混合使用多种LLM时效果更优，显著优于多数投票等基线方法。

二、创新点

1. 提出两种极简实用的算法，仅依赖黑盒LLM，无需外部工具，易于适配不同任务和并行部署。
2. 为两种算法提供严格的理论证明，明确了失败概率