显存不够用，vLLM 在 AMD 卡上的 PagedAttention 调优实战
显存焦虑的破局之道：vLLM 在 AMD 卡上的调优实录
在大模型推理的落地过程中，显存（VRAM）往往是最先撞到的“墙”。尤其是在使用 AMD Instinct 系列 GPU 搭配 ROCm 7.x 生态时，很多开发者会发现：明明理论显存很大，但一跑大模型就 OOM（Out Of Memory），或者显存利用率极低，导致并发上不去。这并非硬件不行，而是显存管理策略没对齐。
vLLM 引入的 PagedAttention 技术虽然极大提升了显存效率，但在 AMD 平台上，默认配置往往过于保守或激进，无法发挥硬件极致性能。今天我们就聚焦显存瓶颈，聊聊如何在 Instinct GPU 上通过精细化的参数调优，把每一 MB 显存都用在刀刃上。
守住安全线：gpu-memory-utilization 的黄金比例
启动 vLLM 服务时，--gpu-memory-utilization是最关键的一个参数。它决定了 vLLM 能抢占多少比例的显存用于模型权重和 KV Cache。
很多教程建议直接拉到0.95甚至更高，试图榨干最后一点显存。但在 ROCm 7.x 的生产实践中，这种做法风险极高。AMD 的驱动层和系统内核本身需要一定的显存开销用于上下文切换和缓冲，一旦瞬时流量峰值到来，预留空间不足极易导致进程被系统强杀。
经过多轮压测，0.90到0.92是一个更为稳妥的“黄金区间”。这意味着我们主动预留了 8%~10% 的显存作为安全缓冲。
python -m vllm.entrypoints.api_server \ --model meta-llama/Meta-Llama-3-8B-Instruct \ --gpu-memory-utilization 0.90 \ --port 8000 \ --host 0.0.0.0在这个配置下，即便并发请求突然激增，KV Cache 动态增长也有回旋余地，避免了服务因瞬间 OOM 而崩溃。对于显存紧张的单卡场景（如 24GB 或 48GB 卡），这 10% 的余量往往是服务稳定运行与频繁重启的分界线。
碎片化博弈：block-size 的场景化选择
PagedAttention 的核心思想是将显存分块管理，而--block-size参数决定了每个块的大小（通常为 16、32 或 64）。这个参数的选择直接影响显存碎片率和内部管理开销。
短序列场景（如客服问答、指令遵循）： 如果业务主要处理短文本（平均长度 < 512 tokens），建议使用较小的
block-size（如16）。小颗粒度能更精细地匹配实际需求，减少因“大块小用”造成的内部碎片浪费。在显存极其有限的情况下，这能多塞进几个并发请求。长序列场景（如文档摘要、代码生成）： 若业务涉及长上下文，较大的
block-size（如32或64）更优。虽然会有少量内部碎片，但能显著降低显存管理器的元数据开销和页表查找频率，提升推理吞吐量。
在实际调优中，不要盲目照搬默认值。可以通过监控显存碎片率来动态调整：如果发现显存剩余不少但无法分配新块，说明碎片化严重，应尝试减小 block size；反之，若管理开销过大导致延迟抖动，则适当增大。
量化突围：FP8/INT8 在 ROCm 后端的实践
当物理显存实在无法容纳更大参数模型时，量化是唯一的出路。在 ROCm 7.x 环境下，FP8和INT8量化已具备较好的可用性，能带来显著的显存收益。
开启量化不仅能让模型权重占用减半（INT8）甚至更多（FP8），还能利用 Instinct GPU 特有的矩阵计算单元加速推理。不过，ROCm 对量化算子的支持仍在迭代中，部分算子可能 fallback 到高精度计算，需提前验证。
以下是一个结合显存优化与量化的启动示例，旨在有限显存下运行更大模型：
python -m vllm.entrypoints.api_server \ --model meta-llama/Meta-Llama-3-70B-Instruct \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.90 \ --quantization fp8 \ --block-size 16 \ --max-model-len 4096在这个配置中，我们使用了 4 卡并行，开启了 FP8 量化，并将 block-size 设为 16 以应对可能的变长序列。--max-model-len的限制进一步防止了过长上下文耗尽显存。实测表明，相比未量化版本，该配置在显存占用降低 40% 以上的同时，吞吐量仍有可观提升。
结语
显存优化不是一蹴而就的静态设置，而是一个根据业务特征动态平衡的过程。在 AMD Instinct GPU 上，通过合理设置gpu-memory-utilization预留安全余量，依据序列长度调整block-size减少碎片，并适时引入量化技术，我们完全可以在有限的硬件资源下构建出高并发、低延迟的推理服务。下次遇到显存报错时，不妨先别急着换卡，试试调整这几个参数，或许就能豁然开朗。