Advanced Black-Box Tuning of Large Language Models with Limited API Calls

文章主要内容与创新点总结

一、主要内容

本文聚焦大语言模型（LLMs）的黑盒调优问题——在无法直接访问模型参数的场景下，实现模型对下游任务的高效适配。针对现有黑盒调优方法的核心困境（离线方法效率高但性能有限，在线方法性能较好但API调用成本极高），提出了一种基于高斯过程（GP）代理模型的有限API调用黑盒调优方案。

核心思路

1. 利用训练样本的相关性与冗余性，通过少量API调用获取的信息估算基础模型输出；
2. 构建“LogitMap对”（输入嵌入与基础模型输出对数概率的配对）作为训练数据，训练GP代理模型来近似基础模型的输出行为；
3. 基于GP代理模型的预测不确定性设计门控机制：高置信度预测用于指导小型白盒代理模型训练，低置信度预测则 fallback 到基础模型API调用，平衡性能与成本；
4. 训练阶段通过GP代理模型为小型代理模型提供对数级监督，推理阶段融合调优后代理模型与基础模型的输出，提升预测准确性。

实验结果

• 性能提升：将预训练语言模型的平均准确率从55.92%提升至86.85%，部分场景接近全参数微调性能，且优于离线代理调优方法（平均提升1.93个百分点）；
• 成本优化：API调用频率仅为CPT等查询密集型方法的1.38%，在Mistral-7B、Qwen3、DeepSeek-R1-Distill等多个模型家族中保持API调用占比低于2%；
• 泛化性：在文本分类、问答、自然语言推理等11个NLP基准数据集上