wan2.1-vae生产环境监控：Prometheus+Grafana搭建GPU温度/显存/请求延迟看板

wan2.1-vae生产环境监控：Prometheus+Grafana搭建GPU温度/显存/请求延迟看板

当你部署了像wan2.1-vae这样强大的文生图服务后，看着它稳定运行，心里是不是踏实多了？但作为运维或开发者，我们心里都清楚，真正的挑战才刚刚开始。服务上线只是第一步，如何确保它7x24小时稳定、高效地运行，才是真正的考验。

想象一下这些场景：

• 半夜收到报警，服务挂了，但你不知道是GPU过热、显存爆了，还是请求队列堵死了。
• 用户反馈生成图片变慢了，你只能凭感觉去猜，是模型问题、硬件问题，还是网络问题？
• 想评估是否需要升级硬件，却拿不出任何数据来支撑决策。

“黑盒”运维的时代已经过去了。今天，我们就来亲手搭建一套属于wan2.1-vae的生产级监控系统。这套系统能让你像看仪表盘一样，实时掌握GPU的温度、显存使用率、请求延迟等关键指标，把“感觉”变成“数据”，把“被动救火”变成“主动预警”。

1. 为什么需要监控wan2.1-vae？

在深入技术细节之前，我们先搞清楚监控的价值。对于wan2.1-vae这类重度依赖GPU的AI推理服务，监控不仅仅是“看看状态”，而是保障服务生命线的关键。

1.1 核心监控需求分析

wan2.1-vae的运行状态可以归结为几个核心维度：

1. 硬件健康度（GPU）：这是服务的“发动机”。我们需要时刻关注：

   • 温度：GPU长期高温运行会加速硬件老化，甚至触发降频保护，导致性能下降。理想温度应维持在80°C以下。
   • 显存使用率：文生图模型，尤其是生成高分辨率图像时，显存消耗巨大。显存溢出是导致服务崩溃最常见的原因之一。
   • GPU利用率：反映了GPU计算核心的忙碌程度。持续低利用率可能意味着请求不足或存在性能瓶颈；持续100%则可能负载过高。

2. 服务性能与可用性：这是用户直接感知的部分。

   • 请求延迟（Latency）：从用户点击“生成”到收到图片的总耗时。这是衡量服务响应速度的核心指标。
   • 请求成功率：成功生成图像与总请求数的比例。失败可能源于参数错误、资源不足或内部错误。
   • 并发请求数：当前正在处理的请求数量，用于评估服务负载。

3. 系统资源：支撑服务运行的基础环境。

   • CPU与内存使用率：虽然主要负载在GPU，但CPU和内存的异常也可能影响整体稳定性。
   • 磁盘I/O与空间：生成的图片需要存储空间，日志文件也会增长。

没有监控，以上所有信息都是盲区。出现问题后，你只能通过手动执行nvidia-smi或查看日志来排查，效率低下且无法追溯历史。而一套完善的监控看板，能将所有指标可视化、历史化，让你一眼看清全局。

2. 监控方案选型：为什么是 Prometheus + Grafana？

市面上监控工具很多，我们选择Prometheus+Grafana这个黄金组合，原因如下：

• Prometheus（数据采集与存储）：

  • 专为云原生和动态服务发现设计，非常适合现代微服务或容器化应用。
  • 拉模型（Pull）：由Prometheus服务器主动从目标（如我们的wan2.1-vae服务）拉取指标数据，配置简单。
  • 强大的查询语言（PromQL）：可以灵活地对时间序列数据进行聚合、计算和分析。
  • 单机性能强劲：对于单节点或小规模集群，单机Prometheus完全够用，部署简单。

• Grafana（数据可视化）：

  • 业界最强大的可视化工具，拥有极其丰富的图表类型和社区面板。
  • 支持多种数据源，Prometheus是其“一等公民”。
  • 灵活的告警功能：可以基于监控数据设置阈值，通过邮件、钉钉、企业微信等渠道发送告警。
  • 美观易用：通过拖拽就能创建出专业的监控仪表盘。

对于wan2.1-vae的监控，我们需要一个Node Exporter来采集主机系统指标（CPU、内存、磁盘等），一个NVIDIA GPU Exporter来采集GPU指标，并让wan2.1-vae服务本身暴露一些应用层指标（如请求数、延迟）。

3. 实战部署：一步步搭建监控系统

假设我们的wan2.1-vae服务已经运行在了一台Linux服务器上（例如你通过CSDN星图部署的实例）。下面我们就在同一台服务器上部署完整的监控栈。

3.1 第一步：部署 Node Exporter（采集系统指标）

Node Exporter 是 Prometheus 官方提供的用于采集主机硬件和操作系统指标的组件。

1. 下载并安装：

   # 进入一个常用的安装目录，例如 /opt cd /opt # 下载最新版本的 Node Exporter（请访问官网查看最新版本号） wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz # 解压 tar xvfz node_exporter-1.7.0.linux-amd64.tar.gz # 创建一个软链接或直接移动到合适位置 sudo mv node_exporter-1.7.0.linux-amd64 /usr/local/bin/node_exporter

2. 创建系统服务（方便管理）：

   sudo vim /etc/systemd/system/node_exporter.service

   将以下内容写入文件：

   [Unit] Description=Node Exporter After=network.target [Service] User=root ExecStart=/usr/local/bin/node_exporter/node_exporter Restart=on-failure [Install] WantedBy=multi-user.target

3. 启动并设置开机自启：

   sudo systemctl daemon-reload sudo systemctl start node_exporter sudo systemctl enable node_exporter

4. 验证：访问http://你的服务器IP:9100/metrics，应该能看到大量的文本格式指标数据。这说明 Node Exporter 已经在9100端口上运行并暴露指标了。

3.2 第二步：部署 NVIDIA GPU Exporter（采集GPU指标）

为了监控GPU，我们需要一个专门的Exporter。nvidia_gpu_exporter是一个不错的选择。

1. 使用 Docker 快速部署（推荐）：

   # 拉取镜像并运行 docker run -d \ --name nvidia_gpu_exporter \ --restart unless-stopped \ --runtime=nvidia \ -p 9835:9835 \ utkuozdemir/nvidia_gpu_exporter:latest

   这条命令会启动一个容器，它自动拥有访问GPU的权限，并在9835端口暴露指标。

2. 验证：访问http://你的服务器IP:9835/metrics，你应该能看到以nvidia_gpu_开头的指标，例如nvidia_gpu_temperature_celsius,nvidia_gpu_memory_used_bytes,nvidia_gpu_utilization_percent等。

3.3 第三步：配置wan2.1-vae暴露应用指标（关键）

这是监控wan2.1-vae服务本身性能的关键。我们需要修改服务代码或配置，使其能够暴露Prometheus格式的指标。由于wan2.1-vae基于Gradio等Web框架，我们可以使用prometheus-client这个Python库。

假设wan2.1-vae的主程序文件是app.py，我们可以进行如下改造：

1. 安装依赖：

   pip install prometheus-client

2. 在应用代码中集成指标（示例）：

   # 在 app.py 文件开头导入 from prometheus_client import Counter, Histogram, generate_latest, REGISTRY, start_http_server import time # 定义指标 # 请求总数计数器 REQUEST_COUNT = Counter('wan21_vae_requests_total', 'Total number of image generation requests') # 请求失败计数器 REQUEST_FAILURES = Counter('wan21_vae_request_failures_total', 'Total number of failed requests') # 请求延迟直方图（单位：秒） REQUEST_LATENCY = Histogram('wan21_vae_request_duration_seconds', 'Request latency in seconds') # 在生成图像的函数上添加装饰器或手动埋点 def generate_image(prompt, negative_prompt, width, height, steps, guidance_scale, seed): start_time = time.time() REQUEST_COUNT.inc() # 增加请求计数 try: # ... 原有的图像生成逻辑 ... result = your_image_generation_function(...) # 记录成功请求的延迟 REQUEST_LATENCY.observe(time.time() - start_time) return result except Exception as e: REQUEST_FAILURES.inc() # 增加失败计数 # 记录失败请求的延迟（可选） REQUEST_LATENCY.observe(time.time() - start_time) raise e # 在应用启动后，启动一个独立的HTTP服务器来暴露指标（例如在8000端口） if __name__ == "__main__": # 启动指标服务器，端口号避免与主服务（7860）冲突 start_http_server(8000) # ... 原有的启动Gradio应用的代码 ... demo.launch(server_name="0.0.0.0", server_port=7860)

3. 重启服务：修改完成后，重启你的wan2.1-vae服务。

   supervisorctl restart wan21

4. 验证：访问http://你的服务器IP:8000/metrics，你应该能看到自定义的wan21_vae_开头的指标。

注意：如果修改原始代码不方便，也可以考虑通过一个独立的“边车”（sidecar）进程，通过拦截或解析服务日志的方式来生成指标，但这更复杂。直接集成是最清晰的方式。

3.4 第四步：部署与配置 Prometheus（数据汇聚）

现在，所有指标源都准备好了，我们需要 Prometheus 来收集它们。

1. 下载并安装 Prometheus：

   cd /opt wget https://github.com/prometheus/prometheus/releases/download/v2.51.2/prometheus-2.51.2.linux-amd64.tar.gz tar xvfz prometheus-2.51.2.linux-amd64.tar.gz sudo mv prometheus-2.51.2.linux-amd64 /usr/local/bin/prometheus

2. 创建配置文件：

   sudo mkdir -p /etc/prometheus sudo vim /etc/prometheus/prometheus.yml

   写入以下配置，将your_server_ip替换为你服务器的实际内网IP或域名：

   global: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s # 每15秒评估一次告警规则 scrape_configs: - job_name: 'prometheus' # 监控Prometheus自身 static_configs: - targets: ['localhost:9090'] - job_name: 'node' # 监控主机 static_configs: - targets: ['your_server_ip:9100'] # Node Exporter地址 - job_name: 'nvidia_gpu' # 监控GPU static_configs: - targets: ['your_server_ip:9835'] # NVIDIA GPU Exporter地址 - job_name: 'wan21_vae' # 监控wan2.1-vae应用 static_configs: - targets: ['your_server_ip:8000'] # 应用指标暴露地址 metrics_path: '/metrics' # 指标路径

3. 创建系统服务并启动：

   sudo vim /etc/systemd/system/prometheus.service

   [Unit] Description=Prometheus After=network.target [Service] User=root ExecStart=/usr/local/bin/prometheus/prometheus \ --config.file=/etc/prometheus/prometheus.yml \ --storage.tsdb.path=/var/lib/prometheus/ \ --web.console.templates=/usr/local/bin/prometheus/consoles \ --web.console.libraries=/usr/local/bin/prometheus/console_libraries Restart=on-failure [Install] WantedBy=multi-user.target

   sudo systemctl daemon-reload sudo systemctl start prometheus sudo systemctl enable prometheus

4. 验证：访问http://你的服务器IP:9090，进入Prometheus的Web UI。在顶部导航栏点击“Status” -> “Targets”，你应该能看到四个目标（Prometheus, Node, nvidia_gpu, wan21_vae）的状态都是“UP”。

3.5 第五步：部署与配置 Grafana（可视化看板）

数据已经收集好了，现在用 Grafana 把它变成漂亮的图表。

1. 安装 Grafana：

   # 对于Ubuntu/Debian sudo apt-get install -y software-properties-common sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main" wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - sudo apt-get update sudo apt-get install grafana # 对于CentOS/RHEL sudo vim /etc/yum.repos.d/grafana.repo # 添加以下内容 [grafana] name=grafana baseurl=https://packages.grafana.com/oss/rpm repo_gpgcheck=1 enabled=1 gpgcheck=1 gpgkey=https://packages.grafana.com/gpg.key sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt sudo yum install grafana

2. 启动并设置开机自启：

   sudo systemctl start grafana-server sudo systemctl enable grafana-server

3. 登录并配置数据源：

   • 访问http://你的服务器IP:3000，默认用户名和密码都是admin，首次登录会要求修改密码。
   • 点击左侧齿轮图标 “Configuration” -> “Data Sources”。
   • 点击 “Add data source”，选择 “Prometheus”。
   • 在URL栏填写http://localhost:9090（因为Grafana和Prometheus在同一台机器），其他保持默认。
   • 点击 “Save & Test”，应该显示 “Data source is working”。

4. 创建wan2.1-vae专属监控看板

数据源配置好了，现在来创建我们最关心的监控仪表盘。

4.1 导入现成模板（快速上手）

Grafana社区有大量优秀的仪表盘模板。我们可以先导入一个通用的主机+GPU监控模板，再添加自定义的wan2.1-vae面板。

1. 在Grafana首页，点击 “+” -> “Import”。
2. 在 “Import via grafana.com” 框中输入模板ID1860（这是一个非常流行的Node Exporter全监控模板），点击Load。
3. 选择我们刚添加的Prometheus数据源，点击 “Import”。
4. 现在你有了一个完整的主机监控看板，包含了CPU、内存、磁盘、网络等所有系统指标。

4.2 手动创建核心监控面板

我们需要专门为wan2.1-vae的服务指标和GPU关键指标创建面板。

面板1：GPU温度与显存（核心健康指标）

• 点击仪表盘右上角 “Add panel” -> “Add new panel”。
• 面板标题：GPU 核心状态。
• 查询A（温度）：在Metrics浏览器中输入nvidia_gpu_temperature_celsius。在右侧 “Legend” 处填写{{model}} 温度。
• 查询B（显存使用率）：点击 “+ Query”，输入(nvidia_gpu_memory_used_bytes / nvidia_gpu_memory_total_bytes) * 100。在 “Legend” 处填写{{model}} 显存使用率。在右侧 “Standard options” -> “Unit” 中选择Percent (0-100)。
• 可视化：选择 “Time series” 图表。可以设置Y轴最大值为100（百分比）。
• 告警设置（可选）：在 “Alert” 标签页，可以设置当温度持续超过85°C或显存使用率超过90%时触发告警。

面板2：wan2.1-vae请求延迟分布

• 新建面板。
• 面板标题：请求延迟分布 (P50, P90, P99)。
• 查询A（P50延迟）：输入histogram_quantile(0.50, rate(wan21_vae_request_duration_seconds_bucket[5m]))。Legend填P50延迟。
• 查询B（P90延迟）：histogram_quantile(0.90, rate(wan21_vae_request_duration_seconds_bucket[5m]))。Legend填P90延迟。
• 查询C（P99延迟）：histogram_quantile(0.99, rate(wan21_vae_request_duration_seconds_bucket[5m]))。Legend填P99延迟。
• 可视化：选择 “Time series”。在 “Standard options” -> “Unit” 中选择Seconds (s)。这个面板能清晰展示大多数请求（P50）、慢请求（P90）和极端慢请求（P99）的耗时。

面板3：wan2.1-vae请求量与成功率

• 新建面板。
• 面板标题：请求量与成功率。
• 查询A（总请求率）：rate(wan21_vae_requests_total[5m])。Legend填请求率。右侧 “Visualization” 选择 “Stat”（统计值），下方再选择 “Graph” 子模式，可以同时看到当前值和趋势图。
• 查询B（失败率）：rate(wan21_vae_request_failures_total[5m])。Legend填失败率。
• 查询C（成功率）：新建一个 “Calculate” 字段，公式为1 - (B/A)，代表成功率。Legend填成功率。将其Unit设置为Percent (0-100)。

面板4：GPU利用率与功率

• 新建面板。
• 面板标题：GPU 计算与功耗。
• 查询A（利用率）：nvidia_gpu_utilization_percent。Legend填{{model}} 利用率。
• 查询B（功率）：nvidia_gpu_power_draw_watts。Legend填{{model}} 功耗。右侧Y轴选择 “Right Y”。
• 可视化：选择 “Time series”。可以清晰看到GPU的忙碌程度和能耗情况。

将这些面板拖拽排列，一个专属于wan2.1-vae的生产监控看板就初具雏形了。你可以随时根据需求添加新的面板，比如监控特定分辨率图片的生成延迟、不同提示词长度的处理时间等。

5. 总结：从监控到洞察

通过以上步骤，我们成功为wan2.1-vae文生图服务搭建了一套从基础设施（主机、GPU）到应用层（请求、延迟）的全方位监控体系。这套系统带来的价值是立竿见影的：

• 故障快速定位：服务变慢或出错时，看板能第一时间告诉你瓶颈在哪里——是GPU过热降频了？显存满了？还是请求队列积压了？
• 性能容量规划：通过历史数据，你可以清晰地看到业务高峰时段、平均请求延迟、GPU资源利用率。这些数据是决定是否需要扩容GPU、优化模型或调整服务配置的最有力依据。
• 服务稳定性保障：基于监控数据设置告警（如GPU温度>85°C、显存使用率>95%、请求失败率>5%），可以在用户感知到问题之前就通知运维人员介入处理，将故障影响降到最低。
• 用户体验优化：通过分析请求延迟分布，可以优化模型参数或代码逻辑，提升用户生成图片的等待体验。

监控不是目的，而是手段。它的最终目标是帮助我们更好地理解系统、预测问题、优化体验，让wan2.1-vae这样的AI服务能够稳定、高效地创造价值。现在，你的服务不再是“黑盒”，而是一个所有关键指标都一目了然的“透明引擎”。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。