DeepSeek-R1-Distill-Qwen-1.5B新手入门：vLLM部署，快速搭建本地AI服务

DeepSeek-R1-Distill-Qwen-1.5B新手入门：vLLM部署，快速搭建本地AI服务

1. 模型与环境准备

1.1 DeepSeek-R1-Distill-Qwen-1.5B模型介绍

DeepSeek-R1-Distill-Qwen-1.5B是DeepSeek团队基于Qwen2.5-Math-1.5B基础模型，通过知识蒸馏技术融合R1架构优势打造的轻量化版本。该模型具有以下特点：

• 参数效率优化：通过结构化剪枝与量化感知训练，将模型参数量压缩至1.5B级别，同时保持85%以上的原始模型精度
• 任务适配增强：在蒸馏过程中引入领域特定数据（如法律文书、医疗问诊），使模型在垂直场景下的性能提升12-15个百分点
• 硬件友好性：支持INT8量化部署，内存占用较FP32模式降低75%，在NVIDIA T4等边缘设备上可实现实时推理

1.2 环境配置要求

建议使用以下环境配置：

• GPU：NVIDIA V100 32GB或更高性能显卡
• 软件环境：
  • Python 3.12 (Ubuntu 22.04)
  • CUDA 12.4
  • PyTorch 2.5.1
  • vLLM 0.6.6
  • transformers 4.46.3
  • safetensors 0.4.5
  • Triton 3.0.0

2. 模型下载与准备

2.1 下载模型

从Hugging Face官方仓库下载DeepSeek-R1-Distill-Qwen-1.5B模型：

git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

2.2 模型存放目录

建议将模型存放在以下目录结构：

/LLM/ └── DeepSeek-R1-Distill-Qwen-1.5B/ ├── config.json ├── model.safetensors └── ...

3. 使用vLLM部署模型服务

3.1 创建启动脚本

创建api_server.sh启动脚本：

#!/bin/bash python -m vllm.entrypoints.openai.api_server \ --model /LLM/DeepSeek-R1-Distill-Qwen-1.5B \ --served-model-name deepseek-qwen-1.5b \ --dtype=half \ --tensor-parallel-size 1 \ --max-model-len 1000 \ --gpu-memory-utilization 0.2

3.2 关键参数说明

• --model：指定模型路径
• --dtype=half：使用FP16精度减少显存占用
• --gpu-memory-utilization 0.2：控制GPU内存使用率，可根据实际情况调整
• --max-model-len 1000：设置最大生成长度

3.3 启动服务

运行启动脚本：

chmod +x api_server.sh ./api_server.sh

成功启动后，服务将默认监听localhost:8000端口。

4. 验证服务部署

4.1 检查服务状态

查看启动日志确认服务是否正常运行：

tail -f deepseek_qwen.log

成功启动的标志是看到类似以下输出：

INFO 05-10 14:30:12 api_server.py:150] Serving on http://0.0.0.0:8000

4.2 测试API接口

使用Python客户端测试模型服务：

from openai import OpenAI client = OpenAI( base_url="http://localhost:8000/v1", api_key="none" ) response = client.chat.completions.create( model="deepseek-qwen-1.5b", messages=[ {"role": "system", "content": "你是一个有帮助的AI助手"}, {"role": "user", "content": "请用中文介绍一下人工智能的发展历史"} ], temperature=0.7, max_tokens=512 ) print(response.choices[0].message.content)

5. 模型使用建议

5.1 参数设置建议

• 温度参数：推荐设置在0.5-0.7之间（最佳0.6），避免输出重复或不连贯
• 提示工程：所有指令应包含在用户提示中，避免添加系统提示
• 数学问题：建议提示中加入"请逐步推理，并将最终答案放在\boxed{}内"

5.2 性能优化技巧

• 显存优化：通过调整--gpu-memory-utilization参数控制显存使用
• 批量处理：对于多个请求，可以使用批处理提高吞吐量
• 量化部署：考虑使用INT8量化进一步减少资源占用

6. 总结

通过vLLM部署DeepSeek-R1-Distill-Qwen-1.5B模型，我们可以在本地快速搭建一个高效的大语言模型服务。本文详细介绍了从环境准备、模型下载到服务部署的全过程，并提供了实用的使用建议和优化技巧。

vLLM的高效推理能力与DeepSeek-R1-Distill-Qwen-1.5B的轻量化设计相结合，使得在普通GPU服务器上也能获得良好的推理体验。读者可以根据实际需求调整部署参数，平衡性能与资源消耗。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。