当前位置：首页 > news >正文

vLLM-v0.17.1在CentOS7生产环境的部署与运维指南

news 2026/6/18 2:41:47

vLLM-v0.17.1在CentOS7生产环境的部署与运维指南

1. 环境准备与系统配置

在开始部署vLLM之前，我们需要确保CentOS7服务器满足基本运行要求并完成必要的系统配置。CentOS7作为企业级Linux发行版，以其稳定性和长期支持特性成为生产环境的理想选择。

1.1 硬件与系统要求

GPU要求：至少配备NVIDIA Tesla T4或更高性能的GPU卡
内存要求：建议32GB以上物理内存
存储空间：系统盘剩余空间不少于50GB
操作系统：CentOS 7.6及以上版本（推荐7.9）
内核版本：3.10.0-1160.el7.x86_64或更新

1.2 基础环境配置

首先更新系统并安装基础工具包：

sudo yum update -y sudo yum install -y epel-release sudo yum groupinstall -y "Development Tools" sudo yum install -y wget curl git vim htop tmux

配置系统防火墙，开放vLLM服务端口（默认8000）：

sudo firewall-cmd --permanent --add-port=8000/tcp sudo firewall-cmd --reload

2. GPU驱动与CUDA环境安装

2.1 NVIDIA驱动安装

对于生产环境，建议安装长期支持版本的NVIDIA驱动：

sudo yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r) sudo yum install -y https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-11-7-local-11.7.0_515.43.04-1.x86_64.rpm sudo yum clean all sudo yum install -y nvidia-driver-latest-dkms

验证驱动安装：

nvidia-smi

2.2 CUDA Toolkit安装

安装与vLLM兼容的CUDA 11.8版本：

sudo yum install -y cuda-11-8

设置环境变量：

echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc

3. vLLM服务部署

3.1 创建专用服务账户

为安全考虑，创建专用账户运行vLLM服务：

sudo useradd -r -s /sbin/nologin vllmuser sudo usermod -aG docker vllmuser # 如果使用Docker

3.2 Python环境配置

安装Miniconda并创建专用环境：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda echo 'export PATH="$HOME/miniconda/bin:$PATH"' >> ~/.bashrc source ~/.bashrc conda create -n vllm python=3.9 -y conda activate vllm

3.3 vLLM安装与验证

安装vLLM及其依赖：

pip install vllm==0.17.1 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

验证安装：

python -c "from vllm import LLM; print('vLLM导入成功')"

4. 生产环境配置优化

4.1 systemd服务配置

创建systemd服务文件/etc/systemd/system/vllm.service：

[Unit] Description=vLLM Inference Service After=network.target [Service] User=vllmuser Group=vllmuser WorkingDirectory=/opt/vllm Environment="PATH=/home/vllmuser/miniconda/envs/vllm/bin:/usr/local/cuda-11.8/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin" Environment="LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64" ExecStart=/home/vllmuser/miniconda/envs/vllm/bin/python -m vllm.entrypoints.api_server --model meta-llama/Llama-2-7b-chat-hf --port 8000 Restart=always RestartSec=5 [Install] WantedBy=multi-user.target

启用并启动服务：

sudo systemctl daemon-reload sudo systemctl enable vllm sudo systemctl start vllm

4.2 日志管理配置

配置logrotate进行日志轮转，创建/etc/logrotate.d/vllm：

/var/log/vllm.log { daily rotate 7 compress delaycompress missingok notifempty create 0640 vllmuser vllmuser postrotate systemctl reload vllm > /dev/null endscript }