DDTree 深度解析:从 Block Diffusion 到 Diffusion Draft Tree
论文:Accelerating Speculative Decoding with Block Diffusion Draft Trees
作者:Liran Ringel, Yaniv Romano (Technion)
arXiv: 2604.12989 (2026.4.14)
代码:https://github.com/liranringel/ddtree
一、问题意识:DFlash 的"浪费"
DFlash 用 block diffusion 一次前向传播生成整个 token block 的 marginal distributions,但只验证单条轨迹。这意味着:
- 每个位置 i 的分布 qi 包含大量信息
- 但 DFlash 只采样一条路径,其余概率质量被丢弃
- 如果能利用这些 per-position distributions 探索多条候选路径,可能大幅提升接受率
核心挑战:如何在固定计算预算(node budget B)下,从 per-position marginals 中选择最有价值的候选路径集合?
二、核心贡献:DDTree 三步走
2.1 数学框架
设定:
- 当前上下文 c,bonus token b(
