当前位置：首页 > news >正文

5步搞定DeepSeek-R1-Distill-Qwen-7B部署：新手友好教程

news 2026/3/30 16:05:58

5步搞定DeepSeek-R1-Distill-Qwen-7B部署：新手友好教程

1. 准备工作：了解你的新工具

DeepSeek-R1-Distill-Qwen-7B是一个特别擅长推理的AI模型，它能像人一样思考问题，不仅告诉你答案，还会展示完整的思考过程。想象一下有个数学老师在解题时，不仅给出最终答案，还一步步讲解思路——这个模型就能做到类似的事情。

这个模型特别适合需要逻辑推理的场景，比如数学题解答、代码问题分析、决策推理等。它基于Qwen-7B模型进行知识蒸馏，在保持强大推理能力的同时，对硬件要求相对友好。

你需要准备的东西：

一台Linux服务器（CentOS 7或Ubuntu）
NVIDIA显卡（建议显存16GB以上）
基本的命令行操作经验

2. 环境准备：搭建基础运行平台

2.1 安装Anaconda环境

Anaconda能帮你管理Python环境，避免各种依赖冲突。按照以下步骤安装：

# 更新系统 sudo yum update -y sudo yum upgrade -y # 下载Anaconda安装包 wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh # 运行安装脚本 bash Anaconda3-2022.10-Linux-x86_64.sh -p /opt/anaconda3 # 初始化conda /opt/anaconda3/bin/conda init source ~/.bashrc # 验证安装 conda --version

2.2 安装Docker环境

Docker能让你快速部署应用，不用担心环境配置问题：

# 安装必要依赖 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 # 添加Docker仓库 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安装Docker sudo yum install -y docker-ce docker-ce-cli containerd.io # 启动Docker服务 sudo systemctl start docker sudo systemctl enable docker # 验证安装 sudo docker run hello-world

如果看到"Hello from Docker!"的提示，说明Docker安装成功。

3. 模型下载：获取推理大脑

DeepSeek-R1-Distill-Qwen-7B模型可以从两个地方下载，推荐使用魔搭社区，速度更快：

下载方式一：魔搭社区（推荐）

# 使用git方式下载（需要先安装git-lfs） git lfs install git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

下载方式二：Hugging Face

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

下载完成后，模型文件大概占用14GB左右空间，请确保有足够的存储空间。

4. 服务部署：一键启动推理服务

现在到了最关键的一步——启动模型服务。使用以下命令即可快速部署：

docker run --runtime nvidia --gpus all -p 9000:9000 --ipc=host \ -v /你的模型路径/DeepSeek-R1-Distill-Qwen-7B:/DeepSeek-R1-Distill-Qwen-7B \ -it --rm vllm/vllm-openai:latest \ --model /DeepSeek-R1-Distill-Qwen-7B \ --dtype float16 \ --max-parallel-loading-workers 1 \ --max-model-len 4096 \ --enforce-eager \ --host 0.0.0.0 \ --port 9000 \ --enable-reasoning \ --reasoning-parser deepseek_r1

参数说明：

--gpus all：使用所有可用GPU
-p 9000:9000：将容器的9000端口映射到主机的9000端口
-v /模型路径/:/DeepSeek-R1-Distill-Qwen-7B：将下载的模型挂载到容器中
--enable-reasoning：启用推理内容展示
--reasoning-parser deepseek_r1：使用DeepSeek专用的推理解析器

服务启动需要一些时间，看到"Started vLLM API server on http://0.0.0.0:9000"就说明成功了。

5. 测试使用：体验智能推理

服务启动后，可以用两种方式测试模型效果：

5.1 使用curl快速测试

curl http://localhost:9000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/DeepSeek-R1-Distill-Qwen-7B", "messages": [ { "role": "user", "content": "9.11 and 9.8, which is greater?" } ] }'

你会得到包含两个部分的响应：

reasoning_content：展示完整的思考过程
content：给出最终答案

5.2 使用Python代码测试

创建测试脚本test_model.py：

from openai import OpenAI # 配置API连接 client = OpenAI( api_key="EMPTY", # 无需API密钥 base_url="http://localhost:9000/v1", ) # 获取可用模型 models = client.models.list() model = models.data[0].id print(f"使用模型: {model}") # 准备问题 messages = [{"role": "user", "content": "9.11 and 9.8, which is greater?"}] # 发送请求 response = client.chat.completions.create( model=model, messages=messages ) # 输出结果 print("推理过程:") print(response.choices[0].message.reasoning_content) print("\n最终答案:") print(response.choices[0].message.content)

运行脚本：