大模型后端上线清单：SSE、显存配额与并发队列

大模型后端上线清单：SSE、显存配额与并发队列

大模型后端比普通 HTTP 服务多了流式连接、显存配额和请求队列三类约束。上线前应逐项验证断连、排队上限和 OOM 降级，而不是把 Web 服务模板原样复制过来。

问题现象与排查入口

大模型后端接入流量后，优先检查两个常见边界：

第一个现象：前端只间歇收到成块文本，没有逐段流式更新。先检查代理缓冲与连接刷新策略，再看模型本身的输出速度。
如果应用端持续写入 SSE，而客户端仍成批收到数据，应检查 Nginx 的proxy_buffering、响应头与压缩配置。缓冲行为取决于配置和实际响应，不要凭一个固定包大小下结论。

第二个现象：Serving 容器启动正常，但在并发打入 50 个请求后，容器突然崩溃重启，日志中留下一行CUDA Out of Memory。
原因是 vLLM 默认的gpu_memory_utilization设置为 0.90，但未对 PyTorch 的 CUDACachingAllocator 环境变量进行隔离，并发增加引发的 KV Cache 扩展很快超出了显存上限。

生产部署拓扑与 Kubernetes Manifest 治理

为了支撑高并发下的稳定吐字与显存隔离，生产环境的 Pod 部署 YAML 应进行硬性参数锁定。

以下 Kubernetes Deployment 只展示配置位置，资源值和探针参数要由目标集群测试决定：

apiVersion: apps/v1 kind: Deployment metadata: name: vllm-inference-backend namespace: ai-serving labels: app: vllm-inference spec: replicas: 4 selector: matchLabels: app: vllm-inference template: metadata: labels: app: vllm-inference spec: containers: - name: vllm-container image: vllm/vllm-openai:v0.4.2 imagePullPolicy: IfNotPresent env: # 优化 PyTorch 显存碎片率 - name: PYTORCH_CUDA_ALLOC_CONF value: "max_split_size_mb:512" # 控制 OpenMP 线程争抢 - name: OMP_NUM_THREADS value: "8" args: - "--model" - "/models/Qwen2.5-72B-Instruct-AWQ" - "--port" - "8000" - "--gpu-memory-utilization" - "0.85" # 留出 15% 显存给动态 Context Tensor 计算 - "--max-model-len" - "8192" - "--max-num-seqs" - "256" # 物理限制最大并发序列数，超出部分在 Engine 内部排队 resources: limits: nvidia.com/gpu: "2" # 绑定 2 张物理 GPU memory: 64Gi cpu: "16" requests: nvidia.com/gpu: "2" memory: 32Gi cpu: "8" ports: - containerPort: 8000 readinessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 60 # 给模型权重加载留出预热时间 periodSeconds: 10

流量入口 Ingress/Nginx 关键配置收口

需要流式输出的路由应关闭不必要的代理缓冲，并单独验证普通 JSON 路由，避免全局修改影响其他接口。

微服务架构入口 Nginx 的应配置片段：

# /etc/nginx/conf.d/ai_stream.conf upstream vllm_backend_cluster { server 10.244.1.15:8000 max_fails=3 fail_timeout=10s; server 10.244.2.20:8000 max_fails=3 fail_timeout=10s; keepalive 64; # 保持长连接池，避免频繁 TCP 三次握手 } server { listen 80; server_name ai-api.example.com; location /v1/chat/completions { proxy_pass http://vllm_backend_cluster; # 核心设置 1：禁用响应缓冲，实现真正的 SSE 实时吐字 proxy_buffering off; proxy_cache off; # 核心设置 2：调整 HTTP 协议版本为 1.1 并清除 Connection 头以支持 Keep-Alive proxy_http_version 1.1; proxy_set_header Connection ""; # 核心设置 3：大幅延长流式响应超时时间，防止长文本生成过程中断 proxy_read_timeout 600s; proxy_send_timeout 600s; # 核心设置 4：关闭 chunked 传输转换，透传后端分块 chunked_transfer_encoding on; } }

上线前必备检查清单 (Pre-Flight Checklist)

在大模型后端底座上线部署前，务必逐一核对以下五项物理配置：

总结

大模型应用后端底座的性能表现，三成取决于模型算力，七成取决于基础设施的工程治理。

部署前明确网关 Buffer、读超时、显存预算与并发序列上限，可以降低流式阻塞和 OOM 风险；是否满足目标负载仍要用相同输入长度与并发分布验证。