Adaptive Blockwise Search: Inference-Time Alignment for Large Language Models

一、文章主要内容总结

该研究聚焦大型语言模型（LLM）推理时的对齐问题，提出了一种全新的推理时对齐范式——自适应块搜索（ADASEARCH），核心思路是通过非均匀分配计算资源，优先关注响应生成的初始关键阶段，以提升对齐质量。

1. 研究背景与问题

• LLM对齐是高风险应用中的关键挑战，现有方法分为两类：
  • 微调类（如RLHF、DPO）：计算成本高，生成静态模型，缺乏灵活性；
  • 推理时对齐类（如Best-of-N、束搜索）：均匀分配计算资源，未考虑不同token块对对齐目标的重要性差异，导致效果欠佳。
• 核心发现：多数对齐任务中，响应的初始token块对确立正确生成轨迹至关重要，早期错误难以通过后续优化弥补（实验验证Decay策略优于Uniform和Growth策略）。

2. 核心方法

• ADASEARCH：基于块级生成的搜索策略，通过采样调度表α分配固定计算预算，对初始token块生成更多候选样本，后续块逐步减少采样数量，确保总计算成本与基线一致。支持三种调度模式：
  • Decay（指数/线性/二次衰减）：优先初始块；
  • Uniform：均匀分配（等同于传统Blockwise Best-of-N）；
  • Growth：优先后续块。
• ADABEAM