- 1️⃣ 顶部信息
- 2️⃣ GPU 列表
- 3️⃣ 进程列表
- 4️⃣ 总结
(py312) root@4eaebd1dd72f:/data/logs# nvidia-smi
Mon Jan 19 13:00:05 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.105.08 Driver Version: 580.105.08 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=++======|
| 0 NVIDIA GeForce RTX 4090 Off | 00000000:00:03.0 Off | Off |
| 45% 36C P8 13W / 450W | 23439MiB / 24564MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 9635 C VLLM::EngineCore 23430MiB |
+-----------------------------------------------------------------------------------------+
你贴的这个 nvidia-smi 输出显示了你当前 RTX 4090 GPU 的使用情况。下面我给你详细解释每一部分：
1️⃣ 顶部信息
NVIDIA-SMI 580.105.08 Driver Version: 580.105.08 CUDA Version: 13.0
- NVIDIA-SMI 版本：580.105.08，这是工具本身的版本。
- 驱动版本：580.105.08，显示了 GPU 驱动版本。
- CUDA 版本：13.0，你系统上安装的 CUDA 版本，和你的深度学习框架（PyTorch / TensorFlow）要匹配。
2️⃣ GPU 列表
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
这里是显卡的状态概览，每列解释如下：
| 列名 | 说明 |
|---|---|
| GPU | GPU 序号（0 开始） |
| Name | GPU 名称（NVIDIA GeForce RTX 4090） |
| Persistence-M | 是否开启持久模式（保持驱动加载状态） |
| Bus-Id | GPU 在 PCIe 总线的位置 |
| Disp.A | 显示器是否连接（Off 表示没连接） |
| Volatile Uncorr. ECC | ECC 错误计数（你显卡没开 ECC，所以显示 Off） |
| Fan | 风扇转速百分比 |
| Temp | GPU 温度（36°C） |
| Perf | 当前性能状态（P8 表示空闲/低功耗状态） |
| Pwr:Usage/Cap | 当前功耗 / 最大功耗（13W / 450W） |
| Memory-Usage | GPU 显存使用情况（23439MiB / 24564MiB） |
| GPU-Util | GPU 利用率（0% 表示几乎没计算负载） |
| Compute M. | 计算模式（Default） |
| MIG M. | 多实例 GPU 状态（RTX 4090 不支持 MIG，显示 N/A） |
关键点：
- 显存几乎满了：23439MiB / 24564MiB (~95%)
- GPU 利用率几乎为 0%，说明显卡主要在占显存，但没有大量计算。
3️⃣ 进程列表
| GPU GI CI PID Type Process name GPU Memory |
| 0 N/A N/A 9635 C VLLM::EngineCore 23430MiB |
解释：
- GPU：使用的 GPU 序号（0）
- PID：进程号（9635）
- Type：类型，
C表示计算（Compute） - Process name：进程名，这里是
VLLM::EngineCore，说明你在运行 vLLM 的推理引擎 - GPU Memory：该进程占用的显存（23430MiB）
结论：
- 你当前的 vLLM 进程几乎占满了整个 24GB 显存。
- 但是 GPU 利用率为 0%，说明目前 vLLM 没有在做推理或者推理正在等待输入。
4️⃣ 总结
- GPU 型号：RTX 4090，24GB 显存
- 显存使用：几乎满（23430/24564 MiB）
- GPU 计算利用率：0%，说明目前主要占显存，不在计算
- 运行进程：vLLM 引擎，占满显存
- 温度正常（36°C），功耗很低（13W）
如果你希望我顺便帮你分析 为什么显存满但 GPU 利用率低，以及 怎么做性能优化，我可以给你详细建议。
你希望我帮你分析这个吗？