保姆级教程：用nvidia-smi命令行打造你的GPU资源监控看板（含自动记录与告警思路）
保姆级教程：用nvidia-smi命令行打造你的GPU资源监控看板（含自动记录与告警思路）
在深度学习训练、科学计算或图形渲染场景中，GPU资源的高效监控直接影响任务稳定性和排错效率。本文将手把手教你如何将零散的nvidia-smi命令组合成自动化监控方案，实现从基础状态查看到智能告警的全流程覆盖。
1. 核心监控指标与基础命令
理解GPU监控首先要明确关键性能指标。通过nvidia-smi的--query-gpu参数，我们可以获取以下核心数据维度：
- 计算负载：
utilization.gpu显示GPU核心利用率，超过80%可能预示计算瓶颈 - 显存管理：
memory.used与memory.total的比值反映显存压力，持续高于90%需警惕泄露 - 温度与功耗：
temperature.gpu和power.draw直接影响硬件寿命，建议设置阈值告警 - 进程级视图：结合
pmon命令可定位具体进程的资源占用情况
基础监控命令组合示例：
# 实时刷新监控（每秒1次） watch -n 1 nvidia-smi # 获取精简版关键指标 nvidia-smi --query-gpu=index,name,utilization.gpu,memory.used,memory.total,temperature.gpu --format=csv2. 自动化数据记录方案
长期监控需要将瞬时数据转化为时间序列记录。以下方案可实现分钟级数据归档：
2.1 CSV日志记录
nvidia-smi -l 60 --format=csv --filename=gpu_metrics.csv \ --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total,temperature.gpu,power.draw参数说明：
-l 60：每60秒记录一次--format=csv：输出为CSV格式--filename：指定存储路径--query-gpu：自定义采集字段
2.2 日志轮转策略
为避免单个文件过大，可通过crontab定时任务分割日志：
# 每天0点新建日志文件 0 0 * * * mv /var/log/gpu_metrics.csv /var/log/gpu_metrics_$(date +\%Y\%m\%d).csv3. 异常检测与告警机制
3.1 温度异常检测脚本
#!/bin/bash THRESHOLD=85 TEMP=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader,nounits) if [ $TEMP -gt $THRESHOLD ]; then echo "[CRITICAL] GPU temperature $TEMP°C exceeds threshold" | mail -s "GPU过热告警" admin@example.com fi3.2 显存泄漏检测
# 持续监控显存使用增长率 nvidia-smi -l 10 --query-gpu=memory.used --format=csv,noheader,nounits | awk '{ if(NR>1 && $1-prev > 500) system("echo \"显存异常增长\" >> /var/log/gpu_alert.log") prev=$1 }'4. 高级监控方案集成
4.1 Prometheus监控集成
通过nvidia_gpu_exporter将数据接入Prometheus：
# 启动exporter docker run -d --runtime=nvidia -p 9835:9835 nvidia/gpu-monitoring-tools # Prometheus配置示例 scrape_configs: - job_name: 'nvidia_gpu' static_configs: - targets: ['exporter-host:9835']4.2 Grafana看板配置
推荐使用以下面板指标：
- 计算负载：
nvidia_smi_utilization_gpu - 显存压力：
nvidia_smi_memory_used / nvidia_smi_memory_total * 100 - 温度趋势：
nvidia_smi_temperature_gpu
实际部署中发现，当GPU利用率持续高于95%且温度超过80°C时，建议检查散热系统或降低batch size
5. 进程级精细监控
pmon命令提供进程维度监控，适合多用户环境：
# 监控进程级资源占用（每秒刷新） nvidia-smi pmon -s um -d 1 -o DT输出字段说明：
- GPU：使用的GPU编号
- PID：进程ID
- Type：进程类型（C=计算，G=图形）
- SM：流处理器利用率
- Mem：显存使用量(MB)
- FB：帧缓冲内存使用
结合ps命令可定位具体应用：
nvidia-smi pmon -s um -d 5 | awk '$2 != "-" {print $2}' | xargs -I {} ps -p {} -o user,cmd6. 实战案例：自动隔离故障GPU
当检测到持续异常时，可通过驱动接口隔离问题设备：
#!/bin/bash FAILED_GPU=$(nvidia-smi --query-gpu=index,compute_mode --format=csv | awk -F, '$2 ~ /PROHIBITED/ {print $1}') if [ -n "$FAILED_GPU" ]; then echo 0 > /sys/class/drm/card$FAILED_GPU/device/enable echo "已隔离GPU $FAILED_GPU" >> /var/log/gpu_maintenance.log fi对于需要7×24小时稳定的训练任务，建议在代码中加入自动恢复机制：
import subprocess import time def check_gpu_health(): try: output = subprocess.check_output(["nvidia-smi", "-L"]) return len(output.decode().splitlines()) except: return 0 while True: if check_gpu_health() < expected_gpu_count: send_alert("GPU数量异常") time.sleep(300) # 等待5分钟后再检查