SEER‘S EYE 本地化部署详解：基于Ubuntu系统的环境配置与依赖安装

SEER'S EYE 本地化部署详解：基于Ubuntu系统的环境配置与依赖安装

最近有不少朋友在问，有没有那种能自己掌控、数据不出本地的大模型部署方案？特别是对于一些对数据安全有要求的企业或者个人开发者来说，把模型部署在自己的服务器上，心里才踏实。今天，我就来手把手带你走一遍 SEER'S EYE 模型在 Ubuntu 20.04 服务器上的本地化部署全过程。

整个过程其实不复杂，核心就是搭好环境、装对依赖、跑起服务。我会尽量把每一步都讲清楚，包括可能会遇到的坑和解决办法。只要你有一台带 NVIDIA GPU 的 Ubuntu 20.04 服务器，跟着做，基本上都能成功。

1. 部署前准备：检查你的“地基”

在开始安装任何软件之前，我们得先确保服务器这个“地基”是稳固的。这步做好了，后面能省去很多麻烦。

首先，用 SSH 连接到你的 Ubuntu 20.04 服务器。登录后，第一件事就是更新系统的软件包列表，并升级已有的软件到最新版本。这能确保我们后续安装的依赖都是兼容的。

打开终端，输入以下命令：

sudo apt update && sudo apt upgrade -y

这个命令可能会运行几分钟，取决于你的网络和需要更新的包数量。完成后，我们还需要安装一些构建和编译软件时常用的基础工具包。

sudo apt install -y build-essential software-properties-common wget curl git

接下来，确认一下你的 Ubuntu 版本。虽然我们目标是 20.04，但最好还是确认一下。

lsb_release -a

你应该能看到类似Ubuntu 20.04.x LTS的输出。确认无误后，我们进入最关键的一步：GPU 环境准备。

2. GPU 环境搭建：安装 CUDA 与驱动

SEER'S EYE 这类大模型推理非常依赖 GPU 的算力，所以正确安装 NVIDIA 驱动和 CUDA 工具包是重中之重。这里我们选择通过 NVIDIA 官方仓库来安装，兼容性最好。

首先，添加 NVIDIA 的官方软件仓库和密钥。

# 添加 NVIDIA 仓库的 GPG 密钥 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb # 更新软件包列表，使新仓库生效 sudo apt update

然后，安装 CUDA 工具包。对于大多数大模型，CUDA 11.8 是一个稳定且广泛支持的选择。我们同时安装配套的驱动。

sudo apt install -y cuda-toolkit-11-8 nvidia-driver-535

安装过程可能需要一些时间。完成后，必须重启服务器，让新的内核模块和驱动生效。

sudo reboot

重启并重新登录后，我们来验证安装是否成功。

# 检查 NVIDIA 驱动版本 nvidia-smi # 检查 CUDA 编译器版本 nvcc --version

运行nvidia-smi后，你应该能看到一个表格，显示了你的 GPU 型号、驱动版本以及 CUDA 版本（这里显示的是驱动支持的最高 CUDA 版本，不影响我们已安装的 11.8）。如果能看到这些信息，恭喜你，最复杂的一关已经过了。

3. 创建独立的 Python 环境

为了避免不同项目间的 Python 包版本冲突，我们使用conda来创建一个干净、独立的虚拟环境。如果你还没有安装 conda，可以安装轻量级的 Miniconda。

# 下载 Miniconda 安装脚本（以 Python 3.9 版本为例） wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 运行安装脚本 bash Miniconda3-latest-Linux-x86_64.sh

安装过程中，按照提示操作即可，一般直接按回车确认默认选项，并在最后选择yes来初始化 conda。安装完成后，关闭并重新打开终端，或者执行source ~/.bashrc使 conda 命令生效。

现在，创建一个名为seers-eye的 Python 虚拟环境，并指定 Python 版本为 3.9。

conda create -n seers-eye python=3.9 -y

创建完成后，激活这个环境。

conda activate seers-eye

你会注意到命令行提示符前面变成了(seers-eye)，这表示你已经在这个独立的环境中工作了。后续所有 Python 包的安装都会局限在这个环境里。

4. 安装核心依赖：PyTorch 与 Transformers

环境激活后，我们来安装模型运行最核心的两个依赖：PyTorch 和 Hugging Face Transformers。版本匹配很重要。

首先安装 PyTorch。根据我们之前安装的 CUDA 11.8，去 PyTorch 官网找到对应的安装命令。这里我们安装稳定版的 PyTorch 2.0+。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装完成后，可以简单验证一下 PyTorch 是否能正确识别 CUDA。

打开 Python 交互界面：

python -c "import torch; print(f'PyTorch version: {torch.__version__}'); print(f'CUDA available: {torch.cuda.is_available()}')"

如果输出显示 CUDA 可用（True），那就没问题。接下来安装 Transformers 库和一些其他常用的工具包。

pip install transformers accelerate sentencepiece protobuf

• transformers: Hugging Face 的核心库，用于加载和运行模型。
• accelerate: 帮助优化模型在 GPU 上的加载和推理。
• sentencepiece: 某些模型分词器所需要的依赖。
• protobuf: 协议缓冲区支持，常用于模型文件解析。

5. 获取与启动 SEER‘S EYE 服务

依赖全部就绪，现在可以获取模型并启动服务了。这里我们假设你已经有 SEER‘S EYE 模型的镜像或部署包。通常，它会是一个包含模型权重和简单推理脚本的压缩包。

例如，如果你从星图平台获取了镜像文件seers-eye.tar.gz，可以这样操作：

# 1. 将镜像文件上传到服务器某个目录，例如 /home/yourname/models/ # 2. 解压镜像文件 cd /home/yourname/models/ tar -xzf seers-eye.tar.gz # 3. 进入解压后的目录 cd seers-eye # 4. 查看目录结构，通常会有模型文件（.bin, .safetensors）和推理脚本（如 server.py, app.py） ls -la

一个最简单的启动方式可能是运行一个 Python 脚本。假设目录里有一个app.py文件，它使用 Flask 或 FastAPI 启动了一个 Web 服务。

# 确保在之前创建的 conda 环境中 conda activate seers-eye # 启动服务，指定主机和端口 python app.py --host 0.0.0.0 --port 7860

服务启动后，你应该能在终端看到类似Running on http://0.0.0.0:7860的日志。现在，你就可以在浏览器中通过http://你的服务器IP:7860来访问 SEER‘S EYE 的 Web 界面，或者通过 API 端口与其交互了。

6. 总结

走完这一遍，你会发现本地部署一个大模型，其实就是一个系统化的环境配置过程。从确保 Ubuntu 系统更新开始，到搞定 GPU 驱动和 CUDA，再到用 conda 隔离 Python 环境，最后安装对的 PyTorch 和 Transformers 版本，每一步都踩稳了，最后启动服务就是水到渠成。

整个过程里，最需要耐心的是 GPU 环境那部分，有时候驱动和 CUDA 版本对不上会有点折腾。但只要按照官方文档的版本要求来，问题都不大。用虚拟环境是个好习惯，它能保证你的服务器干干净净，以后想部署别的模型也不会互相打架。

最后启动服务后，如果遇到端口占用或者权限问题，记得检查一下服务器的防火墙设置。好了，部署完成后，你就可以尽情在本地探索 SEER‘S EYE 的能力了，数据安全完全由你自己掌控。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。