vLLM 并行推理参数及技术实现原理
vLLM的并行推理能力是其实现高性能的核心，它通过多种并行维度的精细组合和底层系统级创新，将GPU集群的计算能力与内存效率发挥到极致。
🔄 vLLM并行推理参数全解
vLLM的并行化是一个多层次策略，下表详细解析了其核心参数、原理及配置考量：
| 并行维度/参数 | 核心参数 | 技术原理 | 适用场景与配置建议 |
|---|---|---|---|
| 张量并行 | --tensor-parallel-size( -tp) | 将单个Transformer层的权重矩阵和计算在多个GPU间进行拆分，需要GPU间高速互联（NVLink）。 | 场景：单个GPU无法容纳的超大模型。 建议：通常设为可用的GPU数（如2, 4, 8）。模型需支持TP。 |
| 流水线并行 | --pipeline-parallel-size( -pp) | 将模型按网络层深度拆分到不同GPU上，如同工厂流水线，数据在不同GPU间顺序传递。 | 场景：模型极大，无法仅用张量并行。 建议：与TP结合使用，但会引入GPU间通信开销和“气泡”空闲时间。 |
| 连续批处理 | --max-num-batched-tokens--max-num-seqs | 动态调度请求队列，而非静态成批。新请求可随时加入，完成请求立即释放资源，实现GPU高负载。 | 场景：高并发、请求长短不一的在线服务。 建议： max-num-batched-tokens是吞吐与延迟平衡的关键。 |
| 内存与缓存优化 | --block-size--gpu-memory-utilization--kv-cache-dtype | 基于PagedAttention，将KV缓存分块管理，实现高效内存共享与按需分配。 | 场景：所有场景的底层优化。 建议：通常用默认块大小（16）；显存利用率设0.8-0.9； fp8缓存可大幅省显存。 |
除了这些启动参数，vLLM的调度器是实现上述并行的“大脑”，它内部维护多个队列，动态决定每个计算步处理哪些请求的哪些令牌，其核心逻辑如下图所示：