千问3-8B 私有化部署方案（vLLM 方式启动）

千问3-8B此部署方式缺陷：流式返回无法调用工具

1. 一键安装 vLLM

pipinstallvllm-ihttps://pypi.org/simple/--timeout100

2. 一键启动模型服务

nohuppython-mvllm.entrypoints.openai.api_server--model/hy-tmp/models/Qwen/Qwen3-8B--host0.0.0.0--port8080--trust-remote-code --gpu-memory-utilization0.85>vllm.log2>&1&

3. 验证服务是否成功

curlhttp://127.0.0.1:8080/v1/models

返回模型信息 = 启动成功✅

LangGraph 直接对接（无需改代码）

llm=ChatOpenAI(model="qwen3-8b",api_key="dummy",base_url="http://localhost:8080/v1")