CentOS 7 离线部署NVIDIA Container Toolkit全攻略
1. 环境准备：打好离线部署的基础
在CentOS 7上离线部署NVIDIA Container Toolkit之前，我们需要确保基础环境已经就绪。这就像盖房子前要先打好地基一样重要。我遇到过不少新手直接跳过了环境检查，结果后面安装时各种报错，浪费了大量时间排查问题。
首先确认NVIDIA驱动是否安装。运行nvidia-smi命令，如果能看到GPU信息表格，说明驱动已经正确安装。这个表格会显示GPU型号、驱动版本、CUDA版本等关键信息。如果提示命令不存在，那就需要先离线安装NVIDIA驱动。这里有个坑要注意：CentOS 7默认使用nouveau开源驱动，它会和NVIDIA官方驱动冲突。我们需要先禁用nouveau，具体操作是：
# 创建黑名单配置文件 echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf echo "options nouveau modeset=0" >> /etc/modprobe.d/blacklist.conf # 重建initramfs mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak dracut /boot/initramfs-$(uname -r).img $(uname -r) # 重启进入命令行模式 systemctl set-default multi-user.target reboot重启后，在命令行模式下安装下载好的NVIDIA驱动.run文件。记得给文件添加执行权限，然后运行安装程序。安装完成后，再次运行nvidia-smi确认驱动正常工作。
接下来是Docker环境的准备。离线安装Docker稍微麻烦些，需要先在有网络的机器上下载好Docker的二进制包。推荐下载静态二进制版本，解压后直接就能用。我通常这样做：
tar xzvf docker-20.10.9.tgz sudo cp docker/* /usr/bin/然后配置systemd服务，创建/etc/systemd/system/docker.service文件，内容可以参考Docker官方文档。配置完成后启动Docker服务：
sudo systemctl daemon-reload sudo systemctl enable docker sudo systemctl start docker2. 获取离线RPM包：解决依赖关系的艺术
离线环境下最头疼的就是依赖关系问题。我建议先在一台相同CentOS 7版本的有网络机器上准备好所有需要的RPM包。这里有个小技巧：使用yum的downloadonly插件可以只下载不安装。
sudo yum install -y yum-plugin-downloadonly sudo yum install -y --downloadonly --downloaddir=/path/to/download \ nvidia-container-toolkit \ nvidia-container-runtime \ libnvidia-container1 \ libnvidia-container-tools \ nvidia-docker2这个命令会把所有需要的RPM包下载到指定目录。我整理了一份关键组件的作用说明：
| 组件名称 | 功能描述 | 是否必需 |
|---|---|---|
| libnvidia-container | 容器运行时底层库 | 是 |
| nvidia-container-toolkit | 核心工具包 | 是 |
| nvidia-container-runtime | 容器运行时接口 | 是 |
| nvidia-docker2 | Docker集成插件 | 推荐安装 |
下载完成后，把这些RPM包拷贝到目标服务器的某个目录，比如/opt/nvidia-rpms/。这里有个经验之谈：最好把整个目录结构都保留，因为有些包可能会依赖特定路径下的文件。
3. 安装配置：一步步搞定NVIDIA容器支持
现在进入实际安装阶段。首先进入存放RPM包的目录，批量安装所有包：
cd /opt/nvidia-rpms sudo rpm -Uvh *.rpm --nodeps --force这里使用了--nodeps和--force参数，这在离线环境下有时是必要的。但要注意，这可能会跳过一些依赖检查，如果后续出现问题，可能需要手动补充缺失的依赖包。
安装完成后，需要配置Docker使用NVIDIA运行时。这个步骤很关键，我见过不少配置不当导致的问题。运行以下命令生成默认配置：
sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker这个命令会自动创建/etc/docker/daemon.json文件。我们可以检查下这个文件的内容是否正确：
{ "runtimes": { "nvidia": { "path": "nvidia-container-runtime", "runtimeArgs": [] } }, "default-runtime": "nvidia" }如果文件内容不对，可以手动编辑。这里有个常见问题：如果之前已经存在daemon.json文件，新配置可能会被合并而不是覆盖。建议先备份原有文件。
4. 验证与排错：确保一切正常工作
安装完成后，我们需要验证NVIDIA Container Toolkit是否正常工作。首先检查工具包版本：
nvidia-ctk --version然后运行一个测试容器，看看能否正常使用GPU：
docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi如果一切正常，你会看到和在宿主机上运行nvidia-smi类似的输出。这意味着容器已经可以访问GPU了。
在实际使用中，可能会遇到各种问题。这里分享几个我遇到的典型问题及解决方法：
Docker启动失败：检查日志
journalctl -u docker，常见原因是内核版本不匹配或缺少libcuda.so。解决方法是在有网络的机器上下载对应版本的依赖包。CUDA版本不兼容：容器内的CUDA版本不能高于宿主机驱动支持的版本。可以通过
nvidia-smi查看支持的最高CUDA版本。多GPU设备隔离：可以通过
docker run --gpus '"device=0,1"'指定使用哪些GPU设备。
5. 高级配置与优化建议
对于生产环境，我们还需要考虑一些高级配置。比如限制容器对GPU资源的使用：
docker run --rm --gpus '"device=0,capabilities=utility,compute"' nvidia/cuda:11.0-base nvidia-smi这个命令限制了容器只能使用GPU的计算能力，不能访问其他功能。对于多租户环境特别有用。
另一个重要建议是预先下载好需要的CUDA镜像。在离线环境下，可以这样做：
# 在有网络的机器上拉取镜像 docker pull nvidia/cuda:11.0-base # 保存镜像为文件 docker save -o cuda-11.0-base.tar nvidia/cuda:11.0-base # 在目标机器上加载镜像 docker load -i cuda-11.0-base.tar对于长期运行的离线环境，建议建立本地的RPM和Docker镜像仓库。这样管理起来更方便，也能避免每次都要手动传输文件。
6. 实际应用案例分享
最后分享一个我在实际项目中的经验。我们需要在一个完全隔离的政府内网环境中部署AI推理服务。环境限制非常严格，不仅没有外网，连USB接口都被禁用。这种情况下，我们是这样做的：
先在测试环境完全模拟生产环境的硬件配置，包括GPU型号、CentOS版本等。
使用
yumdownloader工具下载所有依赖包，包括间接依赖。我们创建了一个完整的依赖树：
repoquery --requires --recursive --resolve nvidia-container-toolkit | xargs yumdownloader把所有包和镜像通过安全审核后，刻录到光盘，再导入生产环境。
在生产环境安装时，遇到了glibc版本冲突的问题。最后发现是因为测试环境和生产环境的内核版本有细微差别。解决方法是在生产环境单独编译了兼容版本的glibc。
这个案例告诉我们，在离线环境下部署，环境一致性检查至关重要。即使是小版本号的差异，也可能导致意想不到的问题。