当前位置：首页 > news >正文

如何用vLLM高效部署NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4

news 2026/7/10 21:01:06

如何用vLLM高效部署NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4

【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4是一款由NVIDIA开发的部署优化型大型语言模型，基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用混合MoE架构，结合交错的Mamba、MoE和Attention层，支持多令牌预测（MTP）以实现更快的文本生成。通过vLLM部署，可显著提升推理效率，特别适合交互式、推理密集型和长上下文工作负载。

准备工作：环境与依赖

在开始部署前，请确保您的系统满足以下要求：

硬件要求：NVIDIA Blackwell或Hopper架构GPU（推荐8×B200或H100节点）
软件要求：
- Linux操作系统
- Python 3.8+
- vLLM v0.20.0（测试通过版本）
- Hugging Face Transformers ≥ 5.3.0

快速安装vLLM

使用pip快速安装vLLM：

pip install vllm==0.20.0

模型获取：克隆仓库

通过以下命令克隆模型仓库：

git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 cd NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4

部署指南：使用vLLM启动服务

vLLM提供了两种部署模式：带MTP（多令牌预测）和不带MTP。MTP模式能显著提升生成速度，推荐在 Blackwell GPU上使用。

带MTP的部署命令

vllm serve "$path" \ --served-model-name "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4" \ --port 8000 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --mamba_ssm_cache_dtype float16 \ --enable-mamba-cache-stochastic-rounding \ --mamba-cache-philox-rounds 5 \ --speculative-config '{"method":"mtp","num_speculative_tokens":3}' \ --tool-call-parser qwen3_coder \ --reasoning-parser nemotron_v3 \ --enable-auto-tool-choice

不带MTP的部署命令

vllm serve "$path" \ --served-model-name "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4" \ --port 8000 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --mamba_ssm_cache_dtype float16 \ --enable-mamba-cache-stochastic-rounding \ --mamba-cache-philox-rounds 5 \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --tool-call-parser qwen3_coder \ --reasoning-parser nemotron_v3 \ --enable-auto-tool-choice

关键参数说明

--tensor-parallel-size：推荐设置为2或4，根据GPU数量调整
--num_speculative_tokens：MTP模式下的推荐值为3（平衡吞吐量和延迟），低延迟场景可尝试5或7
--api-server-count：长文本生成时建议设置为4，提升并发处理能力
--no-enable-chunked-prefill：可提高吞吐量，但可能降低响应性

调用API：与模型交互

部署完成后，可通过OpenAI兼容的客户端与模型交互。以下是Python示例代码：

初始化客户端

from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") MODEL = "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4"

启用推理模式（默认）

response = client.chat.completions.create( model=MODEL, messages=[{"role": "user", "content": "Write a haiku about GPUs"}], max_tokens=16000, temperature=1.0, top_p=0.95, extra_body={"chat_template_kwargs": {"enable_thinking": True}} ) print(response.choices[0].message.content)

禁用推理模式

response = client.chat.completions.create( model=MODEL, messages=[{"role": "user", "content": "What is the capital of Japan?"}], max_tokens=16000, temperature=1.0, top_p=0.95, extra_body={"chat_template_kwargs": {"enable_thinking": False}} ) print(response.choices[0].message.content)

低消耗推理模式

适合需要平衡推理质量和资源消耗的场景：

response = client.chat.completions.create( model=MODEL, messages=[{"role": "user", "content": "Explain quantum computing in simple terms"}], max_tokens=16000, temperature=1.0, top_p=0.95, extra_body={"chat_template_kwargs": {"enable_thinking": True, "low_effort": True}} ) print(response.choices[0].message.content)