解决 vLLM 启动时 “Free memory on device cuda:0 is less than desired GPU memory utilization” 错误
文章目录
- 解决 vLLM 启动时 “Free memory on device cuda:0 is less than desired GPU memory utilization” 错误
- 一、问题现象
- 二、问题分析
- 1. 核心原因
- 2. 为什么会有“已占用显存”？
- 三、解决方案
- ✅ 方案 1：降低 `--gpu-memory-utilization`（推荐）
- 操作步骤：
- 示例命令：
- ✅ 方案 2：清理 GPU 显存后重试
- 操作步骤：
- ✅ 方方案 3：使用更小的 batch 或序列长度（间接缓解）
- 示例调整：
- ✅ 方案 4：启用 `enforce_eager` 模式（高级）
- 四、完整推荐启动脚本（8GB GPU）
- 五、注意事项
- 六、延伸建议
- 结语
- 📖 延伸阅读
解决 vLLM 启动时 “Free memory on device cuda:0 is less than desired GPU memory utilization” 错误
一、问题现象
在使用vLLM（如vllm==0.18.0）启动大语言模型推理服务时，遇到如下报错：
ValueError: Free memory on device cuda:0 (6.93/8.0 GiB) on startup is less than desired GPU memory utilization (0.9, 7.2 GiB).该错误直接导致服务无法启动。
二、问题分析
1. 核心原因
vLLM 在初始化时会检查当前可用显存是否满足用户通过--gpu-memory-utilization参数指定的目标显存利用率。
- 您的 GPU 总显存：8.0 GiB
- 当前空闲显存：