当前位置：首页 > news >正文

千问3.5-2B部署教程：GPU利用率监控脚本（nvidia-smi + prometheus exporter）

news 2026/7/14 18:47:52

千问3.5-2B部署教程：GPU利用率监控脚本（nvidia-smi + prometheus exporter）

1. 引言

在部署和使用千问3.5-2B这类视觉语言模型时，GPU资源的高效利用至关重要。本教程将手把手教你如何搭建一个轻量级的GPU监控系统，实时跟踪模型运行时的显存占用、GPU利用率等关键指标。

通过这套监控方案，你可以：

直观了解模型推理时的资源消耗情况
及时发现性能瓶颈和异常情况
为后续的优化和扩容提供数据支持

2. 环境准备

2.1 基础环境要求

确保你的系统满足以下条件：

已安装NVIDIA显卡驱动（建议版本>=470）
已安装nvidia-smi工具（通常随驱动一起安装）
Python 3.6+环境
基本的Linux命令行操作能力

2.2 安装依赖包

pip install prometheus-client psutil

3. 监控脚本实现

3.1 创建exporter脚本

新建一个名为gpu_monitor.py的文件，内容如下：

import subprocess import re from prometheus_client import start_http_server, Gauge import time # 创建Prometheus指标 GPU_UTIL = Gauge('gpu_utilization', 'GPU utilization percentage', ['gpu_id']) GPU_MEMORY_USED = Gauge('gpu_memory_used', 'GPU memory used in MB', ['gpu_id']) GPU_MEMORY_TOTAL = Gauge('gpu_memory_total', 'GPU total memory in MB', ['gpu_id']) GPU_TEMPERATURE = Gauge('gpu_temperature', 'GPU temperature in Celsius', ['gpu_id']) def parse_nvidia_smi(): try: output = subprocess.check_output(['nvidia-smi', '--query-gpu=utilization.gpu,memory.used,memory.total,temperature.gpu', '--format=csv,noheader,nounits']) lines = output.decode('utf-8').strip().split('\n') for i, line in enumerate(lines): values = [x.strip() for x in line.split(',')] gpu_id = str(i) GPU_UTIL.labels(gpu_id=gpu_id).set(float(values[0])) GPU_MEMORY_USED.labels(gpu_id=gpu_id).set(float(values[1])) GPU_MEMORY_TOTAL.labels(gpu_id=gpu_id).set(float(values[2])) GPU_TEMPERATURE.labels(gpu_id=gpu_id).set(float(values[3])) except Exception as e: print(f"Error parsing nvidia-smi output: {e}") if __name__ == '__main__': # 启动Prometheus metrics服务器 start_http_server(8000) print("GPU metrics exporter started on port 8000") while True: parse_nvidia_smi() time.sleep(5) # 每5秒采集一次数据

3.2 脚本功能说明

这个脚本实现了以下功能：

通过nvidia-smi命令获取GPU的关键指标
将这些指标暴露为Prometheus格式的metrics
提供HTTP接口供Prometheus服务器抓取数据
默认每5秒更新一次数据

4. 部署与运行

4.1 启动监控服务

python gpu_monitor.py

服务启动后，可以通过以下命令验证是否正常工作：

curl http://localhost:8000/metrics

你应该能看到类似如下的输出：

# HELP gpu_utilization GPU utilization percentage # TYPE gpu_utilization gauge gpu_utilization{gpu_id="0"} 45.0 # HELP gpu_memory_used GPU memory used in MB # TYPE gpu_memory_used gauge gpu_memory_used{gpu_id="0"} 5632.0 # HELP gpu_memory_total GPU total memory in MB # TYPE gpu_memory_total gauge gpu_memory_total{gpu_id="0"} 24576.0 # HELP gpu_temperature GPU temperature in Celsius # TYPE gpu_temperature gauge gpu_temperature{gpu_id="0"} 68.0

4.2 配置Prometheus抓取

如果你已经部署了Prometheus监控系统，可以在prometheus.yml配置文件中添加以下内容：

scrape_configs: - job_name: 'gpu_metrics' static_configs: - targets: ['your_server_ip:8000']

5. 监控指标解读

5.1 关键指标说明

指标名称	含义	正常范围
gpu_utilization	GPU计算单元使用率	0-100%
gpu_memory_used	已使用的显存(MB)	根据模型大小变化
gpu_memory_total	总显存(MB)	固定值
gpu_temperature	GPU温度(℃)	<85℃为佳

5.2 千问3.5-2B典型指标

根据我们的测试，千问3.5-2B在RTX 4090上的典型指标为：

GPU利用率：30-70%（取决于输入复杂度）
显存占用：约4.6GB
温度：60-75℃（取决于散热条件）

6. 进阶配置

6.1 调整采集频率

修改脚本中的time.sleep(5)可以调整数据采集频率：

更频繁的采集（如1秒）可以提供更精细的数据，但会增加系统负载
较长的间隔（如30秒）适合长期监控场景

6.2 添加进程级监控

如果需要监控特定进程（如千问3.5-2B服务）的资源使用情况，可以修改脚本添加以下功能：

def get_process_gpu_usage(pid): try: output = subprocess.check_output(['nvidia-smi', 'pmon', '-c', '1']) for line in output.decode('utf-8').split('\n'): if str(pid) in line: parts = re.split(r'\s+', line.strip()) return { 'sm': float(parts[3]), 'mem': float(parts[4]) } except: return None