vLLM-v0.17.1环境部署：Ubuntu/CentOS/WSL多系统适配指南

vLLM-v0.17.1环境部署：Ubuntu/CentOS/WSL多系统适配指南

1. vLLM框架简介

vLLM是一个专为大型语言模型(LLM)设计的高性能推理和服务库，以其出色的速度和易用性著称。这个项目最初由加州大学伯克利分校的天空计算实验室开发，现在已经发展成为一个活跃的开源项目，汇聚了来自学术界和工业界的众多贡献者。

vLLM的核心优势在于其创新的内存管理技术PagedAttention，这项技术能够高效地管理注意力机制中的键值对内存，从而显著提升服务吞吐量。此外，它还具备连续批处理请求的能力，可以同时处理多个用户的查询请求。

1.1 主要技术特性

• 高效内存管理：采用PagedAttention技术优化内存使用
• 高性能执行：利用CUDA/HIP图加速模型执行
• 多种量化支持：包括GPTQ、AWQ、INT4、INT8和FP8等多种量化方式
• 优化内核：集成了FlashAttention和FlashInfer等先进技术
• 灵活的解码策略：支持并行采样、束搜索等多种解码算法

1.2 应用场景优势

vLLM特别适合需要处理大量并发请求的LLM服务场景，它的分布式推理能力支持张量并行和流水线并行，可以轻松扩展到多GPU环境。同时，它提供了与OpenAI兼容的API服务器，方便现有应用的迁移和集成。

2. 系统环境准备

在开始安装vLLM之前，我们需要确保系统满足基本要求。vLLM-v0.17.1支持多种操作系统和环境，包括Ubuntu、CentOS和Windows Subsystem for Linux(WSL)。

2.1 硬件要求

• GPU：推荐使用NVIDIA GPU(如A100、V100、RTX系列)
• 内存：至少16GB RAM(具体取决于模型大小)
• 存储：建议50GB以上可用空间

2.2 软件依赖

所有系统都需要预先安装以下基础组件：

• Python 3.8或更高版本
• pip包管理工具
• CUDA Toolkit 11.8或更高版本(NVIDIA GPU)
• cuDNN 8.6或更高版本(NVIDIA GPU)

3. Ubuntu系统安装指南

Ubuntu是最推荐运行vLLM的操作系统，下面详细介绍在Ubuntu 20.04/22.04上的安装步骤。

3.1 基础环境配置

首先更新系统并安装必要的依赖：

sudo apt update && sudo apt upgrade -y sudo apt install -y python3-pip python3-dev build-essential

3.2 CUDA和cuDNN安装

对于NVIDIA GPU用户，需要安装CUDA Toolkit：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /" sudo apt-get update sudo apt-get -y install cuda

安装完成后，将CUDA添加到环境变量：

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc

3.3 vLLM安装

使用pip安装vLLM及其依赖：

pip install vllm==0.17.1

对于需要特定功能的用户，可以选择安装额外组件：

pip install "vllm[all]==0.17.1"

4. CentOS系统安装指南

CentOS系统的安装过程与Ubuntu类似，但有一些特定步骤需要注意。

4.1 基础环境配置

sudo yum update -y sudo yum install -y python3 python3-devel gcc-c++ make

4.2 CUDA安装

sudo yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo sudo yum clean all sudo yum -y install nvidia-driver-latest-dkms cuda

4.3 vLLM安装

pip3 install vllm==0.17.1

5. WSL环境安装指南

Windows Subsystem for Linux(WSL)用户可以通过以下步骤安装vLLM。

5.1 WSL环境准备

首先确保已安装WSL 2和Ubuntu发行版：

wsl --install -d Ubuntu

5.2 NVIDIA驱动安装

在Windows主机上安装NVIDIA驱动，然后在WSL中安装CUDA：

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/3bf863cc.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/ /" sudo apt-get update sudo apt-get -y install cuda

5.3 vLLM安装

pip install vllm==0.17.1

6. 验证安装

安装完成后，可以通过以下方式验证vLLM是否正常工作。

6.1 简单测试脚本

创建一个Python脚本test_vllm.py：

from vllm import LLM, SamplingParams # 定义采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 初始化LLM llm = LLM(model="facebook/opt-125m") # 生成文本 outputs = llm.generate(["Hello, my name is"], sampling_params) # 打印结果 for output in outputs: print(output.outputs[0].text)

运行脚本：

python test_vllm.py

6.2 启动API服务器

vLLM提供了OpenAI兼容的API服务器：

python -m vllm.entrypoints.api_server --model facebook/opt-125m

然后可以通过curl测试API：

curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "facebook/opt-125m", "prompt": "Hello, my name is", "max_tokens": 7, "temperature": 0 }'

7. 常见问题解决

在安装和使用vLLM过程中可能会遇到一些问题，这里列出一些常见问题及解决方法。

7.1 CUDA版本不兼容

如果遇到CUDA相关错误，可以尝试指定CUDA版本：

export CUDA_HOME=/usr/local/cuda-11.8 export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

7.2 内存不足问题

对于较小的GPU内存，可以尝试使用量化模型：

llm = LLM(model="facebook/opt-125m", quantization="awq")

7.3 模型下载问题

如果模型下载缓慢，可以预先下载模型到本地：

huggingface-cli download facebook/opt-125m --local-dir ./models/opt-125m

然后在代码中指定本地路径：

llm = LLM(model="./models/opt-125m")

8. 总结

vLLM-v0.17.1是一个功能强大且高效的LLM推理和服务库，支持多种操作系统和环境。本文详细介绍了在Ubuntu、CentOS和WSL系统上的安装步骤，并提供了验证安装和常见问题解决方法。

通过vLLM，用户可以轻松部署高性能的LLM服务，利用其先进的PagedAttention技术和连续批处理能力，显著提升服务吞吐量和响应速度。无论是研究还是生产环境，vLLM都是一个值得考虑的优秀选择。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。