立知-lychee-rerank-mm在VMware虚拟化环境中的部署
立知-lychee-rerank-mm在VMware虚拟化环境中的部署
1. 准备工作与环境配置
在开始部署之前，我们需要先了解一些基础信息。立知-lychee-rerank-mm是一个轻量级的多模态重排序模型，专门用于图文匹配评分和排序任务。它基于Qwen2.5-VL-Instruct开发，能够同时理解文本和图像内容，为企业级应用提供精准的重排序能力。
环境要求清单：
- VMware ESXi 7.0或更高版本
- 至少16GB内存（推荐32GB）
- 100GB可用存储空间
- NVIDIA GPU（支持CUDA 11.7+）
- 虚拟机配置：Ubuntu 20.04/22.04 LTS
首先确保你的VMware环境已经就绪。如果你还没有安装ESXi，可以从官网下载最新版本。安装过程相对简单，基本上就是选择安装位置、配置网络和设置管理密码。
2. 创建和配置虚拟机
登录到VMware vSphere Client，点击"创建新虚拟机"。选择"自定义配置"，这样我们可以详细调整各项参数。
关键配置参数：
- 操作系统：选择Linux，版本Ubuntu 64位
- CPU：至少8个vCPU（模型推理需要并行计算能力）
- 内存：32GB或更高（多模态模型比较吃内存）
- 硬盘：100GB厚置备延迟置零
- 网络：VMXNET3适配器（性能更好）
# 在ESXi主机上查看可用资源 esxcli hardware memory get esxcli hardware cpu list存储方面，建议使用SSD存储以获得更好的IO性能。如果你的环境有NVMe存储，优先分配给这个虚拟机。
3. GPU直通配置
这是最关键的一步，因为模型需要GPU加速。VMware的GPU直通（Passthrough）功能允许虚拟机直接访问物理GPU。
配置步骤：
首先在ESXi主机上启用GPU直通：
- 重启ESXi主机进入维护模式
- 在管理→硬件→PCI设备中找到你的GPU设备
- 点击"切换直通"启用
- 重启主机退出维护模式
然后在虚拟机设置中添加PCI设备：
# 检查GPU直通状态 esxcli hardware pci list | grep -i nvidia # 确认设备ID和状态 lspci -v | grep -i vga完成直通后，在Ubuntu虚拟机中安装NVIDIA驱动：
# 添加官方PPA sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 安装推荐驱动版本 ubuntu-drivers devices sudo apt install nvidia-driver-535 # 重启并验证 sudo reboot nvidia-smi4. Ubuntu系统优化
安装完基础系统后，需要进行一些性能调优。
系统优化设置：
# 更新系统 sudo apt update && sudo apt upgrade -y # 安装基础工具 sudo apt install -y build-essential curl wget git # 调整swappiness值 echo 'vm.swappiness=10' | sudo tee -a /etc/sysctl.conf # 提高文件描述符限制 echo '* soft nofile 65535' | sudo tee -a /etc/security/limits.conf echo '* hard nofile 65535' | sudo tee -a /etc/security/limits.conf对于GPU相关的优化，建议安装CUDA工具包：
# 安装CUDA 11.8 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run5. 部署立知-lychee-rerank-mm
现在开始部署模型本身。立知-lychee-rerank-mm提供了多种部署方式，我们选择最稳定的Docker方式。
安装Docker和NVIDIA容器工具包：
# 安装Docker curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh # 添加当前用户到docker组 sudo usermod -aG docker $USER newgrp docker # 安装NVIDIA容器工具包 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker拉取和运行模型：
# 拉取官方镜像 docker pull registry.cn-hangzhou.aliyuncs.com/llm-mirror/lychee-rerank-mm:latest # 运行容器 docker run -d --gpus all -p 8000:8000 \ -v /data/lychee:/app/data \ --name lychee-rerank-mm \ registry.cn-hangzhou.aliyuncs.com/llm-mirror/lychee-rerank-mm:latest6. 性能调优和验证
部署完成后，我们需要进行性能测试和调优。
性能测试脚本：
import requests import json import time url = "http://localhost:8000/rerank" payload = { "query": "城市夜景", "candidates": [ {"text": "繁华都市的夜晚", "image": "night_city.jpg"}, {"text": "乡村田园风光", "image": "countryside.jpg"}, {"text": "现代都市建筑", "image": "building.jpg"} ] } start_time = time.time() response = requests.post(url, json=payload) end_time = time.time() print(f"响应时间: {end_time - start_time:.2f}秒") print("排序结果:", response.json())VMware特定优化：
- 在vSphere中启用内存预留，确保模型有足够内存
- 配置资源池，保证虚拟机获得足够的CPU时间片
- 启用VMware Tools的balloon driver优化内存管理
- 考虑使用RDMA技术提升网络性能（如果支持）
7. 常见问题解决
在部署过程中可能会遇到一些典型问题：
GPU直通失败：
- 检查ESXi主机是否支持IOMMU
- 确认BIOS中VT-d/AMD-Vi已启用
- 验证GPU是否在支持直通的设备列表中
模型启动失败：
# 查看容器日志 docker logs lychee-rerank-mm # 常见错误：CUDA版本不匹配 # 解决方案：确保主机CUDA版本与容器要求一致性能不佳：
- 检查GPU利用率：nvidia-smi -l 1
- 监控内存使用：free -h
- 调整模型批处理大小（如果支持）
8. 部署检查清单
为了确保部署成功，这里提供一个完整的检查清单：
- [ ] VMware ESXi版本符合要求
- [ ] GPU直通已正确配置
- [ ] Ubuntu系统安装完成
- [ ] NVIDIA驱动安装成功
- [ ] Docker和NVIDIA容器工具包已安装
- [ ] 模型镜像拉取完成
- [ ] 容器正常运行
- [ ] 端口8000可访问
- [ ] 测试请求返回正确结果
- [ ] 性能达到预期要求
每个步骤都可以通过相应的命令验证，确保部署过程顺利。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。