开源可部署+国产适配：Lychee-Rerank在昇腾910B上的ACL适配部署教程
开源可部署+国产适配：Lychee-Rerank在昇腾910B上的ACL适配部署教程
1. 项目简介与背景
Lychee-Rerank是一个专门用于检索相关性评分的开源工具，它能够帮你快速判断查询语句和文档内容之间的匹配程度。简单来说，就是你输入一个问题，再提供一堆可能的答案文档，这个工具会自动告诉你哪些文档最相关、哪些不太相关。
这个工具基于Qwen2.5-1.5B模型开发，完全在本地运行，不需要联网，不会泄露你的数据隐私。它采用了一种很聪明的评分方式：通过分析模型对"yes/no"的判断概率来计算相关性分数，分数越高表示越相关。
最棒的是，我们现在已经将其成功适配到国产的昇腾910B芯片上，这意味着你可以在完全国产化的环境中部署和使用这个强大的工具。
2. 环境准备与依赖安装
2.1 系统要求
在开始部署之前，请确保你的系统满足以下基本要求：
- 操作系统：Ubuntu 18.04/20.04/22.04 或 CentOS 7.9/8.5
- Python版本：3.8或3.9
- 昇腾CANN工具包：6.0.RC1或更高版本
- 内存：至少16GB RAM
- 存储：至少50GB可用空间
2.2 安装必要的依赖
首先更新系统并安装基础依赖：
# 更新系统包列表 sudo apt-get update # 安装基础编译工具 sudo apt-get install -y gcc g++ make cmake git wget # 安装Python开发环境 sudo apt-get install -y python3-dev python3-pip python3-venv2.3 设置Python虚拟环境
创建一个独立的Python环境来避免依赖冲突：
# 创建虚拟环境 python3 -m venv lychee-env # 激活虚拟环境 source lychee-env/bin/activate # 升级pip pip install --upgrade pip3. 昇腾ACL环境配置
3.1 安装昇腾CANN工具包
下载并安装昇腾CANN工具包：
# 下载CANN工具包（请根据实际版本调整） wget https://your-cann-download-url/CANN-6.0.RC1.alpha001_linux-x86_64.run # 添加执行权限 chmod +x CANN-6.0.RC1.alpha001_linux-x86_64.run # 安装工具包 ./CANN-6.0.RC1.alpha001_linux-x86_64.run --install3.2 配置环境变量
安装完成后，需要设置环境变量：
# 设置CANN环境变量 source /usr/local/Ascend/ascend-toolkit/set_env.sh # 设置Python路径 export PYTHONPATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages:$PYTHONPATH建议将这些环境变量添加到你的.bashrc文件中，这样每次登录都会自动设置。
4. Lychee-Rerank部署步骤
4.1 下载项目代码
首先克隆项目代码到本地：
git clone https://github.com/your-username/lychee-rerank-ascend.git cd lychee-rerank-ascend4.2 安装Python依赖
安装项目所需的Python包：
pip install -r requirements.txt主要依赖包括：
- torch：PyTorch深度学习框架
- streamlit：Web界面框架
- transformers：Hugging Face transformers库
- ascend-acl：昇腾ACL Python接口
4.3 模型转换与优化
由于原始模型是为GPU设计的，我们需要将其转换为昇腾格式：
# 模型转换脚本示例 from transformers import AutoModel import torch # 加载原始模型 model = AutoModel.from_pretrained("Qwen/Qwen2.5-1.5B") # 转换为ONNX格式（为后续昇腾转换做准备） dummy_input = torch.randn(1, 128, 1024) torch.onnx.export(model, dummy_input, "qwen2.5-1.5b.onnx")4.4 ACL模型部署
使用昇腾的ATC工具将ONNX模型转换为昇腾支持的OM格式：
# 使用ATC工具转换模型 atc --model=qwen2.5-1.5b.onnx \ --framework=5 \ --output=qwen2.5-1.5b \ --soc_version=Ascend910B \ --input_format=ND \ --input_shape="actual_input_1:1,128,1024" \ --log=info5. 快速启动与使用
5.1 启动服务
完成所有配置后，你可以轻松启动Lychee-Rerank服务：
# 启动Streamlit服务 streamlit run app.py --server.port 8501 --server.address 0.0.0.0启动成功后，控制台会显示访问地址，通常是http://localhost:8501。用浏览器打开这个地址就能看到评分工具界面了。
5.2 界面操作指南
Lychee-Rerank的界面非常直观，主要分为三个输入区域：
- 指令设置：在这里定义评分规则，默认是"基于查询检索相关文档"
- 查询输入：输入你要搜索的问题或关键词
- 候选文档：列出所有待评分的文档，每行一个文档
点击"计算相关性分数"按钮后，系统会开始处理并显示结果。
5.3 结果解读
计算结果会以清晰的方式展示：
- 颜色编码：绿色表示高相关性（>0.8），橙色表示中等相关性（0.4-0.8），红色表示低相关性（<0.4）
- 进度条：直观显示分数占比
- 排名列表：按分数从高到低排列，方便你快速找到最相关的内容
6. 实际应用示例
6.1 文档检索场景
假设你正在研究人工智能，想找相关的技术文档：
指令：找出与人工智能技术相关的文档 查询：深度学习框架的比较分析 候选文档： 1. TensorFlow和PyTorch的对比研究 2. 中国传统节日文化介绍 3. 深度学习在图像识别中的应用 4. 欧洲旅游攻略 5. 神经网络优化算法综述运行评分后，系统会自动识别出文档1、3、5与你的查询最相关。
6.2 内容审核场景
Lychee-Rerank也可以用于内容审核：
指令：识别与科技相关的提问 查询：如何配置Python开发环境？ 候选文档： 1. Python虚拟环境配置教程 2. 中国传统美食做法 3. VS Code Python开发环境搭建指南 4. 冬季护肤小技巧 5. Pip包管理工具使用详解系统会准确筛选出科技相关的内容，过滤掉不相关的信息。
7. 常见问题与解决方案
7.1 模型加载失败
如果遇到模型加载问题，可以尝试以下步骤：
# 检查模型文件权限 chmod 644 models/qwen2.5-1.5b.om # 重新运行模型转换 python convert_model.py --force7.2 内存不足错误
对于内存不足的情况，可以考虑：
- 减少批量处理的大小
- 使用更小的模型版本
- 增加系统交换空间
7.3 性能优化建议
如果你发现处理速度不够快，可以尝试：
- 启用模型量化以减少内存占用
- 使用更小的最大序列长度
- 批量处理多个查询以提高效率
8. 总结
通过本教程，你已经学会了如何在昇腾910B上部署和使用Lychee-Rerank相关性评分工具。这个工具不仅功能强大，而且完全在本地运行，确保了数据的安全性和隐私性。
关键优势包括：
- 国产化适配：完美支持昇腾910B芯片
- 易于使用：直观的Web界面，无需编程经验
- 高效准确：基于先进的Qwen2.5模型，评分准确率高
- 隐私安全：所有数据处理都在本地完成
无论你是需要文档检索、内容筛选还是相关性分析，Lychee-Rerank都能提供可靠的解决方案。现在就开始使用吧，体验国产AI芯片上的高效检索排序能力！
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。