Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

📄 文章主要内容和创新点

一、文章核心问题

大语言模型（LLM）的标准自回归解码（autoregressive decoding）本质上是顺序执行的，导致现代GPU的大规模并行能力无法充分利用，推理延迟高。推测解码（Speculative Decoding）通过草稿模型（draft model）先快速生成多个候选token，再由目标模型（target model）一次性并行验证，从而减少目标模型的调用次数。然而，实际加速效果受限于草稿质量与草稿成本之间的权衡：

• 自回归草稿器（如EAGLE系列）：能很好地建模因果依赖关系，草稿质量高（接受长度长），但需要顺序生成每个token，成本随草稿长度线性增长。
• 并行草稿器（如DFlash）：一次前向传播生成整个token块，成本低，但弱化了块内因果依赖建模，草稿质量下降。

二、Domino框架核心创新

🎯 创新点1：因果依赖建模与自回归执行解耦

Domino将因果依赖建模从昂贵的自回归草稿执行中分离开来。具体而言，Domino首先使用一个并行草稿骨架（parallel draft backbone）一次性生成整个token块的初步分布，然后通过一个轻量级的Domino头（Domino head）注入前缀依赖的因果信息进行精炼。

Domino头的设计