Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models

一、文章主要内容总结

该研究聚焦于大型语言模型（LLMs）自回归生成机制导致的推理延迟问题，提出了一种基于成本感知的动态树投机解码方法（CAST）。核心思路是在投机解码的树结构构建中，系统考虑GPU配置、批量大小等关键系统变量带来的推理成本，通过动态调整树的深度、每层节点数及目标模型验证的令牌数，平衡令牌接受率与推理成本的权衡关系。

研究通过6个不同任务（多轮对话、代码生成、数学推理、指令遵循、文本摘要、问答）和6种LLM模型（Vicuna、LLaMA3、Qwen2等）进行全面实验，对比了标准投机解码、Medusa、EAGLE系列等当前主流方法。结果显示，CAST相比传统自回归解码速度提升最高达5.2倍，相比现有最优方法（SOTA）速度提升5%-20%，且在单样本和批量处理场景下均保持稳定优势，同时兼容不同GPU设备（A800、H20、RTX 4090）。

二、文章创新点

1. 成本感知的动态树构建：首次将GPU配置、批量大小等系统级变量建模为推理成本，突破了现有动态树方法（如EAGLE-2、EAGLE-3）忽略系统因素的局限，通过预计算推理成本 lookup 表实现树结构的自适应调整。
2. 双阶段剪枝策略：在树扩展阶段，通过宽度剪枝（基于边际效用阈值筛选每层节点）和深度剪枝（基于层间预测质量缓冲器决定是否扩展新层）优化树结构；在重排序阶段，结合累积概率与推理成本筛选待验证令牌，兼顾效率与准确性。
3. 通用性与扩展性：CAST可泛化EAGLE-2、EAGLE-3等现有方法（其节点选择机制为CAST的