批量推理（Batch Inference）的吞吐量极限：调度策略与显存管理深度剖析
当你的GPU利用率卡在60%、P99延迟在峰值流量下失控时，问题的根源往往不在模型本身，而在于你如何调度请求、如何管理显存。
引言：吞吐量瓶颈，从来不在算力
2026年的大模型推理领域，有一个被反复验证却常被忽视的真相：大模型推理的瓶颈不是浮点运算，而是显存带宽。
安德烈·卡帕西（Andrej Karpathy）曾指出，GPU大部分时间花在把模型权重从显存搬到计算核心上。一次搬运可以服务一个token，也可以服务十个token——这就是批量推理（Batch Inference）能够大幅提升吞吐量的底层逻辑。
但问题远没有那么简单。当请求量上升、batch size增大、上下文长度拉长时，你会遇到一连串棘手的工程问题：KV Cache把显存吃光、P99延迟突然飙升、batch大了排队时间把decode省下来的收益全吞回去。吞吐量、延迟、成本，三者构成了一个不可能三角——动一个角，另外两个角经常会变形。
本文将从调度策略与显存管理两个核心维度，深入剖析批量推理吞吐量极限的本质制约因素，并结合2026年最新的技术进展（vLLM V1、SGLang RadixAttention、DeepSeek DSpark、Feather调度器、EB+混合批处理等），给出可落地的优化方案与选型建议。