nlp_structbert_sentence-similarity_chinese-large部署指南：Ubuntu 20.04系统环境配置详解

nlp_structbert_sentence-similarity_chinese-large部署指南：Ubuntu 20.04系统环境配置详解

想试试那个很火的StructBERT中文句子相似度大模型，结果第一步环境配置就卡住了？Python版本冲突、CUDA驱动报错、依赖库装不上……这些问题是不是听着就头疼？

别担心，这篇文章就是为你准备的。我会手把手带你，在一台全新的Ubuntu 20.04服务器上，从零开始，把nlp_structbert_sentence-similarity_chinese-large模型的环境给配好。咱们不绕弯子，直接解决那些最常遇到的坑，目标就是让你一次部署成功，把时间花在体验模型上，而不是折腾环境。

1. 开始之前：你需要准备什么

在动手之前，咱们先看看需要哪些东西。这样你心里有数，操作起来也更顺畅。

首先，你需要一台安装了Ubuntu 20.04操作系统的服务器或电脑。为什么是20.04？因为这个版本长期支持，社区资源丰富，遇到问题好解决。当然，如果你用的是18.04或者22.04，大部分步骤也是类似的，但可能会有一些小差异。

其次，最好有一张NVIDIA的显卡。这个模型虽然CPU也能跑，但有GPU的话，推理速度会快很多，体验完全不一样。如果你的服务器没有显卡，或者用的是AMD的显卡，那咱们就按纯CPU的方式来配置，后面我会专门讲到。

最后，你需要有这台服务器的管理员权限，也就是能执行sudo命令。这个应该没问题，毕竟是你自己的机器嘛。

好了，工具备齐，咱们就正式开始。

2. 第一步：把系统收拾利索

刚拿到手的Ubuntu系统，就像一间刚交房的毛坯房，得先通水通电，把基础打好。这一步咱们更新系统，并安装一些后续肯定会用到的工具。

打开你的终端，依次输入下面这些命令。每输完一行，按回车执行，等它运行完了再输下一行。

sudo apt update sudo apt upgrade -y

第一行是刷新软件源列表，看看有哪些更新；第二行是把所有能升级的软件包都升级到最新。这个过程可能需要几分钟，取决于你的网速和系统更新量。

基础系统更新好后，咱们安装一些编译工具和开发库，后面安装Python包的时候会用到。

sudo apt install -y build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

这一长串命令看起来有点吓人，但其实就是在安装一堆开发用的库文件。你不用担心每个是干什么的，总之装了它们，后面就很少会遇到“编译失败”这种让人头疼的错误。

3. 第二步：安装合适的Python版本

Python是运行模型的环境基础，版本不对，后面全是白搭。Ubuntu 20.04自带的Python 3.8可能有点老，我们直接安装一个较新且稳定的Python 3.10。

为什么不装最新的？因为太新的版本有时候第三方库支持跟不上，反而容易出问题。3.10是个经过时间考验的稳定版本，和大多数AI框架兼容性都很好。

我们使用pyenv这个工具来安装和管理Python版本。它最大的好处是可以让你在一台机器上安装多个Python版本，并且随时切换，非常灵活。

首先，安装pyenv的依赖和pyenv本身：

curl https://pyenv.run | bash

执行完上面这条命令后，它会输出几行提示，告诉你需要把一些配置加到你的shell配置文件里（比如~/.bashrc）。请务必照着它的提示做，通常是把下面这三行加到文件末尾：

export PATH="$HOME/.pyenv/bin:$PATH" eval "$(pyenv init --path)" eval "$(pyenv virtualenv-init -)"

添加完后，执行下面这个命令，让配置立刻生效：

source ~/.bashrc

现在，pyenv就装好了。咱们用它来安装Python 3.10.11：

pyenv install 3.10.11

这个下载和编译过程需要一点时间，你可以去泡杯茶。安装完成后，把它设置为全局默认的Python版本：

pyenv global 3.10.11

最后，验证一下是否安装成功：

python --version

如果终端显示Python 3.10.11，那么恭喜你，Python环境这块硬骨头已经啃下来了。

4. 第三步：搞定CUDA和cuDNN（有GPU的话）

如果你有NVIDIA显卡，并且想让模型在GPU上飞起来，那么这一步是关键。如果没显卡，可以直接跳到下一章。

首先，检查一下你的显卡型号和现有的驱动：

nvidia-smi

如果这个命令报错或者说找不到，说明你还没装NVIDIA驱动。咱们用Ubuntu官方推荐的方式来安装，比较省心：

sudo ubuntu-drivers autoinstall sudo reboot

执行完记得重启一下电脑。重启后再运行nvidia-smi，你应该能看到显卡信息了，并且最上面一行会显示你安装的CUDA版本（比如CUDA Version: 11.7）。记下这个版本号，比如是11.7。

接下来，我们需要安装对应版本的CUDA Toolkit和cuDNN。以CUDA 11.7为例，去NVIDIA官网找到对应版本的runfile本地安装文件。在终端里用wget下载它，然后安装：

wget https://developer.download.nvidia.com/compute/cuda/11.7.0/local_installers/cuda_11.7.0_515.43.04_linux.run sudo sh cuda_11.7.0_515.43.04_linux.run

安装时，在选项界面，记得取消勾选Driver，因为我们已经装过驱动了，只安装CUDA Toolkit就行。

安装完成后，需要把CUDA的路径告诉系统。编辑你的~/.bashrc文件：

nano ~/.bashrc

在文件末尾添加这几行（如果你的CUDA版本或安装路径不同，请相应修改）：

export PATH=/usr/local/cuda-11.7/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

保存退出后，同样执行source ~/.bashrc让配置生效。最后，验证CUDA安装：

nvcc --version

这个命令会输出CUDA编译器的版本信息。

cuDNN的安装稍微麻烦点，需要去NVIDIA官网注册账号并下载对应CUDA 11.7版本的cuDNN压缩包（例如cudnn-linux-x86_64-8.x.x.x_cuda11-archive.tar.xz）。下载后，解压并拷贝文件到CUDA目录：

tar -xvf cudnn-linux-x86_64-8.x.x.x_cuda11-archive.tar.xz sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-11.7/include sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-11.7/lib64 sudo chmod a+r /usr/local/cuda-11.7/include/cudnn*.h /usr/local/cuda-11.7/lib64/libcudnn*

至此，GPU的硬核环境就配置完毕了。

5. 第四步：创建虚拟环境并安装核心依赖

有了干净的Python，下一步就是为我们的模型项目创建一个独立的“工作间”，也就是虚拟环境。这能保证这个项目的依赖包不会和系统里其他Python项目打架。

我们用Python自带的venv模块来创建：

python -m venv structbert_env

这会在当前目录下创建一个叫structbert_env的文件夹，里面就是一个独立的Python环境。激活它：

source structbert_env/bin/activate

激活后，你会发现终端命令行的前面多了个(structbert_env)的提示，这说明你已经在这个虚拟环境里了。接下来所有pip install的操作，都只会影响这个环境。

首先，升级一下pip和setuptools，这是好习惯：

pip install --upgrade pip setuptools wheel

然后，安装深度学习框架。这里有个小技巧，为了兼容性和稳定性，我们不一定安装最新版的PyTorch，而是去PyTorch官网查找与你的CUDA版本匹配的稳定版本。例如，对于CUDA 11.7，可以安装：

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

如果你的机器没有GPU，就安装CPU版本的PyTorch：

pip install torch==1.13.1+cpu torchvision==0.14.1+cpu torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cpu

接着，安装Transformers库，这是使用StructBERT等模型所必须的：

pip install transformers

6. 第五步：部署并测试模型

环境全部就绪，终于到了最激动人心的环节——把模型请出来。

我们先创建一个简单的Python脚本，比如叫test_model.py，来加载和测试模型。

from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F # 1. 指定模型名称 model_name = "IDEA-CCNL/Erlangshen-StructBERT-large-1.96M-sentence-similarity-chinese" print(f"正在加载模型: {model_name} ...") # 2. 加载分词器和模型 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) # 将模型设置为评估模式，并放到GPU上（如果有的话） model.eval() device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) print(f"模型已加载至: {device}") # 3. 准备两个测试句子 sentences = [ "今天天气真好，我们一起去公园吧。", "天气晴朗，适合去公园散步。" ] # 4. 对句子进行编码 inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt", max_length=128) inputs = {k: v.to(device) for k, v in inputs.items()} # 将输入数据也放到对应设备 # 5. 模型推理，不计算梯度以节省内存 with torch.no_grad(): outputs = model(**inputs) # 取每个句子第一个token（[CLS]）的隐藏状态作为句子表示 sentence_embeddings = outputs.last_hidden_state[:, 0, :] # 6. 计算余弦相似度 cos_sim = F.cosine_similarity(sentence_embeddings[0].unsqueeze(0), sentence_embeddings[1].unsqueeze(0)) similarity_score = cos_sim.item() print(f"\n句子1: {sentences[0]}") print(f"句子2: {sentences[1]}") print(f"计算出的语义相似度得分: {similarity_score:.4f}") # 简单判断 if similarity_score > 0.8: print("结论：这两个句子语义上非常相似。") elif similarity_score > 0.5: print("结论：这两个句子语义上较为相关。") else: print("结论：这两个句子语义上不太相关。")

保存这个脚本，然后在激活的虚拟环境中运行它：

python test_model.py

第一次运行会下载模型，需要一些时间，请保持网络通畅。下载完成后，你会看到终端输出相似度得分和结论。看到这个结果，就说明你的模型部署成功，已经开始工作了！

7. 总结

走完这一趟，从一台裸机的Ubuntu 20.04，到最终成功运行中文句子相似度模型，感觉怎么样？整个过程我们像搭积木一样，一步步解决了系统更新、Python版本管理、GPU驱动、深度学习框架安装这些典型问题。

最关键的是，我们通过pyenv和虚拟环境，把Python环境隔离开，这是保证项目长期稳定、避免依赖冲突的黄金法则。那个测试脚本虽然简单，但涵盖了加载、编码、推理、计算相似度的完整流程，你可以把它当作一个模板，以后替换成你自己的句子进行测试。

如果中途遇到了问题，别慌。大部分错误信息在网上都能搜到解决方案，关键是要看清楚报错提示，确定问题出在哪个环节（是驱动？CUDA？还是某个Python包？）。环境配置是个熟能生巧的活儿，踩的坑多了，自然就成了高手。

希望这篇详细的指南能帮你扫清障碍。接下来，你就可以尽情探索这个StructBERT模型在文本匹配、智能客服、搜索推荐等场景下的强大能力了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。