显存不够用，ROCm 7.x 下 vLLM 的 PagedAttention 调优笔记
显存焦虑的解药：PagedAttention 在 ROCm 7.x 下的实战调优
在 AMD Instinct GPU 上跑大模型，最让人头疼的往往不是环境配置，而是模型加载后那捉襟见肘的显存。尤其是面对 Llama 3 这类参数量不小的模型，稍微开个长上下文或者并发高一点，OOM（Out Of Memory）报错就接踵而至。很多开发者在 ROCm 7.x 环境下部署 vLLM 时，习惯直接套用默认参数，结果发现显存利用率并不理想，甚至频繁崩溃。其实，vLLM 核心的 PagedAttention 技术在 AMD 平台上同样强大，关键在于如何针对 ROCm 的特性进行精细化的参数调优。今天就来聊聊我在 DevCloud 实例上折腾出来的几条显存优化经验，希望能帮你把每一 MB 显存都用在刀刃上。
为什么不能把显存占满？
启动 vLLM 服务时，--gpu-memory-utilization是最关键的参数之一。它的默认值通常是 0.9，但在实际生产环境中，我强烈建议将其控制在0.90 到 0.92之间，千万不要为了追求极致的 KV Cache 容量而激进地设置为 0.95 甚至 1.0。
这背后的逻辑很简单：ROCm 驱动本身、操作系统内核以及 HIP 运行时都需要占用一定的显存作为缓冲。特别是在高并发场景下，瞬时峰值的显存需求可能会超出预期。如果预留空间不足，一旦触发硬性的显存上限，进程会直接被系统杀死，导致服务中断。我在多次压测中发现，设置为 0.9 是一个相对安全的“甜点”区间，既能保证绝大部分显存用于模型权重和 KV Cache，又能留出约 10% 的余量应对突发波动，显著降低 OOM 的概率。
# 推荐的安全启动配置，预留 10% 显存缓冲python-mvllm.entrypoints.api_server\--modelmeta-llama/Meta-Llama-3-8B-Instruct\--gpu-memory-utilization0.90\--port8000\--host0.0.0.0Block Size 的权衡艺术
PagedAttention 的核心思想是将 KV Cache 分块存储，而--block-size参数决定了每个块的大小（通常为 8、16、32 或 64）。这个参数的选择并非越大越好，也不是越小越优，完全取决于你的业务场景。
如果你的业务主要是短序列交互（如智能客服问答、简短指令遵循），输入和输出的 token 数量较少且波动不大，建议使用较小的block-size（如 8 或 16）。小块的粒度更细，能更精准地匹配实际需求，减少因对齐造成的内部碎片浪费。
反之，如果是长文本生成或文档分析场景，序列长度普遍较长且连续，较大的block-size（如 32 或 64）则更为合适。大块可以减少页表管理的开销，提升显存访问的局部性，从而在一定程度上提高吞吐量。在 ROCm 7.x 环境下，我发现对于混合负载，设置为 16 往往是一个比较均衡的选择，既照顾了碎片率，又不会带来过大的管理负担。
量化技术的落地与限制
除了调整内存分配策略，引入量化是解决显存瓶颈的另一条捷径。vLLM 支持 FP8 和 INT8 量化，理论上能将显存占用减半并提升推理速度。但在 AMD ROCm 平台上，这一点需要格外谨慎。
目前 ROCm 7.x 对 FP8 的支持正在快速完善，但并非所有算子都已完美适配。在启动服务时，可以通过--quantization fp8尝试开启。如果后端不支持某些特定算子，vLLM 可能会自动 fallback 到高精度计算，或者干脆报错退出。因此，在生产环境使用前，务必先用小流量验证稳定性。
相比之下，INT8（AWQ/GPTQ 格式）的兼容性目前更好一些。如果你手头有量化好的模型权重，可以直接加载，无需额外指定量化参数（vLLM 会自动识别）。以下是一个结合了显存控制与量化参数的启动示例：
# 结合 FP8 量化与显存控制的启动命令# 注意：需确认当前 ROCm 版本及模型是否支持 FP8 算子python-mvllm.entrypoints.api_server\--modelmeta-llama/Meta-Llama-3-8B-Instruct-FP8\--quantizationfp8\--gpu-memory-utilization0.90\--block-size16\--tensor-parallel-size1\--port8000监控与观察要点
调优不是一劳永逸的，上线后的监控同样重要。在 ROCm 环境下，不要只盯着 vLLM 的日志，要学会利用rocm-smi进行实时观察。
在服务运行期间，定期执行rocm-smi --showmemuse查看显存使用率。如果发现显存长期维持在 98% 以上且伴有频繁的波动，说明预留空间不足，需要调低--gpu-memory-utilization。同时，关注rocm-smi输出的温度与功耗数据，异常的功耗尖峰有时也暗示着显存带宽成为了瓶颈。
此外，通过 vLLM 自带的指标接口（通常暴露在/metrics），可以抓取vllm:gpu_cache_usage_perc指标。将这个指标与系统的物理显存使用率做对比，如果两者差异过大，可能存在显存泄漏或非 KV Cache 占用过高的问题。
在 AMD 平台上跑大模型，确实比 NVIDIA 生态多了一些折腾的成本，但只要摸清了 PagedAttention 的脾气，配好了gpu-memory-utilization和block-size这些关键参数，Instinct GPU 的性能表现绝对值得期待。毕竟，用更低的成本跑出更高的吞吐量，才是我们技术人的终极目标。
200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper