如何用SGLang部署DeepSeek-V4-Pro-0813：FP4量化与DSPARK算法完整指南

如何用SGLang部署DeepSeek-V4-Pro-0813：FP4量化与DSPARK算法完整指南

DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的正式版本，在推理性能与智能体（Agent）能力上大幅超越预览版，而SGLang部署DeepSeek-V4-Pro-0813正是当前生产环境中最主流的方案之一。本指南面向新手，手把手带你完成FP4量化权重加载、DSPARK投机解码等关键配置，用一条命令跑起百亿级参数的 MoE 大模型，快速获得低延迟、高吞吐的本地推理体验。🚀

一、DeepSeek-V4-Pro-0813 是什么？

DeepSeek-V4-Pro-0813 是 DeepSeek 官方发布的DeepSeek-V4-Pro正式版模型，构建在预览版架构之上，并额外挂载了DSpark 投机解码模块。它在终端代理（Terminal Bench 2.1 得分 87.9）、代码生成（NL2Repo 61.5）、工具调用（Toolathlon-Verified 74.1）等多项基准上全面领先预览版。

从仓库配置可以看出它的核心规格：

模型权重共分为66 个 safetensors 分片，并附带model.safetensors.index.json索引，可直接被 Transformers、SGLang、vLLM 等框架加载。

二、FP4量化与DSPARK算法：两大核心技术通俗解读

什么是FP4量化？为什么它如此关键？

量化就是把高精度的权重"压缩"成低精度，从而大幅降低显存占用与带宽需求。DeepSeek-V4-Pro-0813 的 MoE 专家权重采用FP4 量化（config.json中"expert_dtype": "fp4"），激活与其余权重使用FP8 量化。

由于 384 个专家的参数量巨大，FP4 量化让模型能在有限的 GPU 显存内跑起来，同时配合按块缩放（block-wise scaling）尽量保住精度。这也是 SGLang 部署时必须指定flashinfer_mxfp4后端的原因——普通 FP8 后端无法直接执行 FP4 的矩阵运算。

DSPARK算法是什么？

DSpark 是 DeepSeek 自研的投机解码（Speculative Decoding）算法：由一个小巧的草稿模块快速"猜测"未来几个 token，再由主模型一次性验证，猜对的 token 无需重新计算，从而显著提升解码速度。

仓库配置中可以看到它的参数：

DSpark 最大的特点是草稿权重与主模型共用同一份 checkpoint，部署时无需额外下载草稿模型，开箱即用。

三、SGLang部署前置准备：硬件与软件清单

硬件需求

官方推荐的 SGLang 配置是4×GB300 单节点（--tp 4）。GB300 具备超大显存（288GB HBM3e），足以容纳 FP4 量化后的全部权重。如果显存紧张，可参考官方 Cookbook 的其他硬件组合。

软件环境

• SGLang：最新稳定版（需支持mxfp4后端与 DSPARK 算法）
• Python 3.10+
• CUDA 12.8+（GB300 平台）

获取模型权重

克隆本仓库即可获得完整权重与推理代码：

git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813

仓库内包含 66 个权重分片、tokenizer.json、config.json以及inference/本地推理代码。

四、SGLang一键部署步骤：官方推荐命令

在确认 GPU 与 SGLang 环境就绪后，执行以下命令即可启动服务（来源：项目根目录 README.md 的 "How to Run with SGLang" 章节）：

sglang serve \ --trust-remote-code \ --model-path deepseek-ai/DeepSeek-V4-Pro-0813 \ --tp 4 \ --moe-runner-backend flashinfer_mxfp4 \ --speculative-algorithm DSPARK \ --mem-fraction-static 0.90 \ --chunked-prefill-size 4096 \ --swa-full-tokens-ratio 0.1

💡 如果本地已下载权重，将--model-path替换为本地目录路径即可。

关键参数逐行解读

服务启动后，SGLang 会输出 OpenAI 兼容的 API 端点（默认http://localhost:30000），你可以直接用 curl 或 OpenAI SDK 调用。

五、推理参数调优：如何发挥最佳性能

官方对本地部署给出了明确的采样建议：

• temperature = 1.0，top_p = 0.95（智能体/Agent 场景）
• top_p = 1.0（其他常规场景）
• 使用high/max推理档位时，建议最大输出长度设为384Ktoken

这些参数可在generation_config.json中预设（默认temperature: 1.0, top_p: 1.0），也可在每次请求时动态指定。

关于消息编码（Chat Template）

本仓库未提供 Jinja 格式的 chat template，而是提供了专门的 Python 编码实现。多轮对话、工具调用、深度思考（reasoning）都需要通过 encoding_dsv4.py 来编码：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text messages = [ {"role": "user", "content": "1+1=?"} ] prompt = encode_messages(messages, thinking_mode="thinking", reasoning_effort="max")

编码器支持low/high/max三档reasoning_effort，对应不同强度的思考前缀，可精细控制模型"想多久再回答"。

六、本地离线推理：不使用SGLang的备选方案

如果你不想依赖 SGLang，仓库inference/目录提供了纯 PyTorch 的本地推理实现。步骤如下：

第一步：权重格式转换

export EXPERTS=256 export MP=4 export CONFIG=config.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}

第二步：交互式对话

torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

该方案依赖tilelang==0.1.8、fast_hadamard_transform等库（见 requirements.txt），支持单机多卡与多机分布式推理（torchrun --nnodes），适合完全离线的生产环境。

七、vLLM部署备选：DSpark同样可用

如果你更习惯 vLLM，官方同样提供了支持。只需添加一个--speculative-config参数即可启用 DSpark：

vllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \ --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \ --data-parallel-size 4 --enable-expert-parallel \ --moe-backend deep_gemm_mega_moe \ --attention-config '{"use_fp4_indexer_cache": true}' \ --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'

SGLang 与 vLLM 两条路线都原生支持 FP4 量化与 DSPARK 算法，你可以按团队技术栈自行选择。🛠️

八、常见问题速查（FAQ）

Q1：启动时报错 "mxfp4 not supported"？检查 SGLang 版本是否支持flashinfer_mxfp4后端，并确认显卡为 Blackwell 架构（如 GB300、B200）。

Q2：DSpark 不生效？确认只设置了--speculative-algorithm DSPARK，切勿再指定--speculative-draft-model-path，否则会按独立草稿模型模式运行。

Q3：显存不够怎么办？降低--mem-fraction-static（如 0.80），或改用更小的张量并行策略并参考官方 Cookbook 的其他硬件配置。

Q4：如何做多轮对话与工具调用？使用 encoding_dsv4.py 的encode_messages编码多轮消息，并用parse_message_from_completion_text解析带<think>思考块的输出，项目encoding/tests/下提供了 4 组输入输出测试样例供参考。

九、总结

至此，你已经掌握了SGLang部署DeepSeek-V4-Pro-0813的完整流程：从理解FP4量化与DSPARK算法的原理，到一键启动服务、调优推理参数，再到本地离线推理与 vLLM 备选方案。核心只需记住两条命令口诀：SGLang 用--moe-runner-backend flashinfer_mxfp4 --speculative-algorithm DSPARK，vLLM 用--speculative-config '{"method":"dspark"}'。

现在就克隆仓库，把 DeepSeek-V4-Pro-0813 跑起来，体验百万上下文与极速推理带来的生产力提升吧！⚡