nanobot部署教程：vLLM推理服务器健康检查、监控指标（TPS/延迟/显存）采集方法

nanobot部署教程：vLLM推理服务器健康检查、监控指标（TPS/延迟/显存）采集方法

1. nanobot简介

nanobot是一款受OpenClaw启发的超轻量级个人人工智能助手，仅需约4000行代码即可提供核心代理功能。它内置了vLLM部署的Qwen3-4B-Instruct-2507模型，并使用chainlit作为推理交互界面。

这个轻量级设计使得nanobot比传统AI助手（如Clawdbot的430k多行代码）小了99%，非常适合个人开发者和小型团队使用。你可以随时运行bash core_agent_lines.sh命令验证当前代码行数（实时行数：3510行）。

2. 基础部署与验证

2.1 部署状态检查

部署完成后，首先需要确认vLLM推理服务是否正常运行：

cat /root/workspace/llm.log

如果看到类似以下的输出，说明服务已成功启动：

INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit) INFO: Started server process [1234]

2.2 使用chainlit测试问答

通过chainlit界面可以直接与nanobot交互：

1. 启动chainlit界面：

chainlit run app.py

2. 在打开的浏览器界面中输入问题，例如：

使用nvidia-smi看一下显卡配置

系统会返回当前显卡的详细配置信息，包括显存使用情况、GPU型号等。

3. 健康检查与监控指标采集

3.1 基础健康检查方法

3.1.1 服务存活检查

使用curl命令检查vLLM服务是否存活：

curl -X GET "http://localhost:8000/health"

正常响应应为：

{"status":"healthy"}

3.1.2 模型加载状态检查

检查模型是否成功加载：

curl -X GET "http://localhost:8000/v1/models"

预期响应包含已加载的模型信息：

{ "object": "list", "data": [{"id": "Qwen3-4B-Instruct-2507", "object": "model"}] }

3.2 关键性能指标采集

3.2.1 吞吐量(TPS)监控

TPS(Transactions Per Second)是衡量推理服务器性能的重要指标。可以通过以下方法采集：

# 使用ab工具进行压力测试 ab -n 100 -c 10 -p query.json -T "application/json" http://localhost:8000/v1/completions

其中query.json内容示例：

{ "model": "Qwen3-4B-Instruct-2507", "prompt": "介绍一下你自己", "max_tokens": 100 }

3.2.2 延迟(Latency)监控

记录单个请求的响应时间：

curl -o /dev/null -s -w "响应时间: %{time_total}s\n" -X POST \ -H "Content-Type: application/json" \ -d '{"model":"Qwen3-4B-Instruct-2507","prompt":"你好","max_tokens":50}' \ http://localhost:8000/v1/completions

3.2.3 显存使用监控

使用nvidia-smi实时监控显存使用情况：

watch -n 1 nvidia-smi

或者使用以下命令获取JSON格式的显存数据：

nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits

4. 自动化监控方案

4.1 Prometheus监控配置

可以配置Prometheus来持续采集监控指标：

1. 首先安装Prometheus客户端库：

pip install prometheus_client

2. 创建监控脚本metrics_exporter.py：

from prometheus_client import start_http_server, Gauge import requests import subprocess import time # 定义指标 tps_gauge = Gauge('vllm_tps', 'Transactions per second') latency_gauge = Gauge('vllm_latency', 'Request latency in seconds') gpu_mem_gauge = Gauge('gpu_memory_used', 'GPU memory used in MB') def get_gpu_memory(): result = subprocess.run(['nvidia-smi', '--query-gpu=memory.used', '--format=csv,noheader,nounits'], stdout=subprocess.PIPE) return int(result.stdout.decode('utf-8').strip()) if __name__ == '__main__': start_http_server(8001) while True: # 采集TPS数据 try: resp = requests.get('http://localhost:8000/metrics') metrics = resp.json() tps_gauge.set(metrics.get('tps', 0)) latency_gauge.set(metrics.get('avg_latency', 0)) except: pass # 采集显存数据 gpu_mem_gauge.set(get_gpu_memory()) time.sleep(5)

4.2 Grafana仪表板配置

将Prometheus数据可视化：

1. 添加Prometheus数据源
2. 创建包含以下面板的仪表板：
   • TPS实时曲线图
   • 请求延迟分布图
   • GPU显存使用率
   • 服务健康状态

5. 高级监控技巧

5.1 自定义vLLM指标端点

可以通过修改vLLM启动参数暴露更多指标：

python -m vllm.entrypoints.api_server \ --model Qwen3-4B-Instruct-2507 \ --port 8000 \ --metric-interval 5 \ --enable-metrics

5.2 日志分析与告警

配置日志监控规则，检测以下关键事件：

• 高延迟请求（>1s）
• 显存不足警告
• 服务重启事件

使用ELK或Loki+Promtail+Grafana搭建日志监控系统。

6. 总结

通过本教程，你已经学会了如何对nanobot的vLLM推理服务器进行全面的健康检查和性能监控。关键要点包括：

1. 基础检查：服务存活、模型加载状态等基础健康检查方法
2. 性能监控：TPS、延迟、显存使用等关键指标的采集方法
3. 自动化方案：使用Prometheus+Grafana搭建持续监控系统
4. 高级技巧：自定义指标端点和日志分析告警

这些监控手段能帮助你及时发现性能瓶颈，确保nanobot服务稳定运行。对于生产环境，建议至少监控TPS和显存使用率这两个核心指标。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。