Lychee-Rerank部署教程：Kubernetes集群中部署高可用rerank微服务

Lychee-Rerank部署教程：Kubernetes集群中部署高可用rerank微服务

1. 项目概述

Lychee-Rerank是一个基于Qwen2.5-1.5B模型的本地检索相关性评分工具，专门用于处理查询与文档的匹配度打分任务。这个工具完全在本地运行，不需要网络连接，确保了数据隐私和安全。

核心功能特点：

• 支持自定义指令、查询语句和候选文档集
• 输出按相关性分数降序排列的结果
• 提供可视化进度条和颜色分级显示
• 纯本地推理，无网络依赖
• 无使用次数限制

适用场景：

• 文档检索系统中的相关性排序
• 智能问答系统中的答案匹配
• 内容推荐系统中的相似度计算
• 任何需要查询-文档匹配度评分的场景

2. 环境准备与要求

在开始部署之前，请确保你的环境满足以下要求：

2.1 系统要求

• Kubernetes集群（版本1.20+）
• 至少8GB可用内存
• 20GB可用存储空间
• NVIDIA GPU（可选，推荐用于加速推理）

2.2 必要工具

确保已安装以下工具：

• kubectl（Kubernetes命令行工具）
• Helm（Kubernetes包管理器）
• Docker（容器运行时）

2.3 模型文件准备

下载Qwen2.5-1.5B模型权重文件：

# 创建模型存储目录 mkdir -p /data/models/lychee-rerank # 下载模型文件（请替换为实际下载链接） wget -O /data/models/lychee-rerank/model.safetensors <模型下载链接>

3. Kubernetes部署步骤

3.1 创建命名空间

首先为Lychee-Rerank创建一个独立的命名空间：

# lychee-rerank-namespace.yaml apiVersion: v1 kind: Namespace metadata: name: lychee-rerank labels: name: lychee-rerank

应用配置：

kubectl apply -f lychee-rerank-namespace.yaml

3.2 创建配置文件

创建ConfigMap存储应用配置：

# lychee-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: lychee-rerank-config namespace: lychee-rerank data: config.yaml: | model_path: "/app/models/model.safetensors" device: "cuda" # 或 "cpu" batch_size: 8 max_length: 512 temperature: 0.7

3.3 创建持久化存储

创建PersistentVolumeClaim用于模型存储：

# lychee-pvc.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: lychee-model-pvc namespace: lychee-rerank spec: accessModes: - ReadWriteMany resources: requests: storage: 20Gi storageClassName: standard

3.4 部署应用

创建Deployment配置：

# lychee-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: lychee-rerank namespace: lychee-rerank labels: app: lychee-rerank spec: replicas: 2 selector: matchLabels: app: lychee-rerank template: metadata: labels: app: lychee-rerank spec: containers: - name: lychee-rerank image: lychee-rerank:latest # 替换为实际镜像 ports: - containerPort: 8501 volumeMounts: - name: model-storage mountPath: /app/models - name: config mountPath: /app/config resources: requests: memory: "8Gi" cpu: "2" limits: memory: "12Gi" cpu: "4" volumes: - name: model-storage persistentVolumeClaim: claimName: lychee-model-pvc - name: config configMap: name: lychee-rerank-config

3.5 创建服务

暴露应用服务：

# lychee-service.yaml apiVersion: v1 kind: Service metadata: name: lychee-rerank-service namespace: lychee-rerank spec: selector: app: lychee-rerank ports: - protocol: TCP port: 80 targetPort: 8501 type: LoadBalancer

3.6 应用所有配置

一次性应用所有配置：

kubectl apply -f lychee-rerank-namespace.yaml kubectl apply -f lychee-configmap.yaml kubectl apply -f lychee-pvc.yaml kubectl apply -f lychee-deployment.yaml kubectl apply -f lychee-service.yaml

4. 验证部署

4.1 检查Pod状态

kubectl get pods -n lychee-rerank

预期输出应该显示所有Pod都处于Running状态。

4.2 检查服务状态

kubectl get svc -n lychee-rerank

4.3 访问应用

获取服务的外部IP：

kubectl get svc lychee-rerank-service -n lychee-rerank -o jsonpath='{.status.loadBalancer.ingress[0].ip}'

通过浏览器访问该IP地址即可使用Lychee-Rerank工具。

5. 使用指南

5.1 输入配置

指令（Instruction）：

• 自定义评分规则，默认为"基于查询检索相关文档"
• 示例："找出与人工智能相关的文档"

查询（Query）：

• 输入待匹配的查询语句
• 示例："什么是机器学习的基本概念？"

候选文档：

• 每行输入一条候选文档
• 支持批量输入多条文档
• 示例：

机器学习是人工智能的一个分支。 深度学习是机器学习的一个子领域。 Python是一种编程语言。 神经网络模仿人脑的工作方式。

5.2 计算评分

点击「计算相关性分数」按钮，系统会：

• 批量计算每条文档与查询的相关性分数
• 使用进度条显示处理进度
• 实时显示处理状态

5.3 查看结果

结果页面显示：

• 排名（Rank）：文档的相关性排名
• 分数：保留6位小数的相关性分数
• 颜色标识：
  • 绿色：分数 > 0.8（高相关性）
  • 橙色：分数 0.4-0.8（中等相关性）
  • 红色：分数 < 0.4（低相关性）
• 进度条：直观展示分数占比
• 文档内容：以代码块形式展示，便于查看

6. 高级配置

6.1 资源调整

根据实际需求调整资源分配：

# 在Deployment中调整resources部分 resources: requests: memory: "12Gi" cpu: "4" nvidia.com/gpu: 1 # 如果使用GPU limits: memory: "16Gi" cpu: "8" nvidia.com/gpu: 1

6.2 自动扩缩容

配置Horizontal Pod Autoscaler：

# lychee-hpa.yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: lychee-rerank-hpa namespace: lychee-rerank spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: lychee-rerank minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70

6.3 监控配置

集成监控和日志：

# 添加sidecar容器用于日志收集 - name: log-sidecar image: fluentd:latest volumeMounts: - name: app-logs mountPath: /var/log/lychee

7. 故障排除

7.1 常见问题

Pod启动失败：

• 检查模型文件路径是否正确
• 验证存储卷挂载是否正确

服务无法访问：

• 检查Service配置
• 验证网络策略

性能问题：

• 调整batch_size参数
• 考虑使用GPU加速

7.2 日志查看

# 查看Pod日志 kubectl logs -f <pod-name> -n lychee-rerank # 查看Deployment状态 kubectl describe deployment lychee-rerank -n lychee-rerank

8. 总结

通过本教程，你已经成功在Kubernetes集群中部署了高可用的Lychee-Rerank微服务。这个部署方案提供了：

核心优势：

• 高可用性：多副本部署确保服务稳定性
• 弹性伸缩：根据负载自动调整资源
• 易于维护：容器化部署简化管理
• 资源隔离：独立命名空间确保环境整洁

最佳实践建议：

1. 定期备份模型文件和配置
2. 监控资源使用情况并及时调整
3. 设置合适的资源限制防止资源耗尽
4. 定期更新镜像版本获取最新功能

现在你可以通过浏览器访问部署好的Lychee-Rerank服务，开始使用这个强大的本地检索相关性评分工具了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。