当前位置：首页 > news >正文

vllm 部署时，nginx 的配置

news 2026/5/12 8:17:01

你想判断这份 Nginx 配置是否正确，结论先明确：这份 Nginx 配置本身是「语法正确、核心功能有效」的，但它是否能正常配合 vLLM 服务工作，取决于 vLLM 的 --root-path 配置是否与之匹配（关键关联点）。

下面我们分两部分详细分析：

一、先肯定：这份配置的合理之处（无语法错误，关键配置到位）

location /vllm/ 匹配规则合理：精准匹配所有以 /vllm/ 开头的请求（对应 vLLM 的 URL 前缀场景），符合反向代理的路径分组需求。
反向代理核心配置齐全：
- proxy_pass http://vllm_backend;：语法正确，假设你已在 Nginx 中通过 upstream 定义了 vllm_backend（指向 vLLM 服务的 IP:端口，如 127.0.0.1:8000），否则需改为具体地址（如 http://127.0.0.1:8000）。
- 各类 proxy_set_header 配置完整：正确传递了 Host、真实 IP、转发链、协议类型，保障 vLLM 能获取到完整的请求上下文，同时满足生产环境的身份溯源、协议兼容需求。
针对 vLLM 流式输出的优化配置到位：
- proxy_buffering off;：关闭 Nginx 代理缓冲，这是vLLM 流式响应（如流式聊天、流式补全）的必备配置。如果开启缓冲，Nginx 会等待 vLLM 完整返回结果后再转发给用户，无法实现实时的流式输出，这份配置中关闭了缓冲，符合 vLLM 流式场景的要求。
- proxy_http_version 1.1;：HTTP/1.1 支持长连接，配合 proxy_buffering off; 能更好地支撑流式响应的持续传输，避免连接中断。
- proxy_read_timeout 300s;：延长读取超时时间至 5 分钟，适配 vLLM 处理复杂请求（大模型、长文本）的耗时，避免因超时而中断请求，配置合理。

二、关键前提：这份 Nginx 配置正常工作的核心条件（与 vLLM `--root-path` 匹配）

这份 Nginx 配置没有 rewrite 路径改写逻辑，因此它的正常工作完全依赖于 vLLM 启动时的 --root-path 配置，具体要求：

1. 必须满足的配置对应关系

vLLM 启动时的 --root-path 必须设置为 /vllm（与 Nginx location /vllm/ 的前缀一致），对应的 vLLM 启动命令如下：

# 核心：--root-path /vllm 与 Nginx location 前缀匹配
vllm serve <你的模型名称> --root-path /vllm --port 8000

2. 匹配后的工作流程（正常生效）

用户请求 → https://你的域名/vllm/v1/chat/completions
Nginx 匹配 location /vllm/ → 直接转发至 http://vllm_backend/vllm/v1/chat/completions
vLLM 识别 --root-path /vllm → 自动剥离前缀，内部解析 /v1/chat/completions → 正常返回结果（流式/非流式均可）

3. 不匹配的后果（无法正常工作）

如果 vLLM 未配置 --root-path /vllm（如默认不配置、或配置为其他前缀），会出现以下问题：

vLLM 内部仅识别 /v1/... 路径，收到带 /vllm/ 前缀的请求后，无法匹配内部路由，返回 404 错误。
此时若想让配置生效，才需要在 Nginx 中添加 rewrite 路径改写（这是妥协方案，不如直接匹配 --root-path 优雅）。

三、补充：可选的优化（让配置更健壮，适配更多场景）

若未定义 vllm_backend 上游服务，需补充 upstream 配置（或直接在 proxy_pass 中写具体地址）：

# 放在 server 块外部，http 块内部
upstream vllm_backend {server 127.0.0.1:8000;  # 指向 vLLM 服务的实际 IP 和端口keepalive 32;  # 开启长连接池，优化性能
}

补充 proxy_set_header Connection "";：配合 HTTP/1.1 长连接，避免部分场景下的连接复用问题，完整配置如下：

location /vllm/ {proxy_pass http://vllm_backend;proxy_http_version 1.1;proxy_set_header Connection "";  # 新增优化，适配长连接proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;proxy_buffering off;proxy_read_timeout 300s;
}