从零到一：在CentOS服务器上为Tesla K80双卡配置CUDA深度学习环境（实测记录）
从零到一：在CentOS服务器上为Tesla K80双卡配置CUDA深度学习环境（实测记录）
当你面对一台崭新的CentOS服务器和两块Tesla K80计算卡时，如何快速搭建一个稳定的深度学习环境？本文将带你完整走一遍这个流程，从驱动安装到环境验证，分享我在实际部署中积累的经验和踩过的坑。
Tesla K80作为一款经典的计算加速卡，在深度学习训练和科学计算中仍有广泛应用。但它的双GPU设计和较老的架构特性，在驱动安装和环境配置上有一些需要特别注意的地方。下面我们就从最基础的准备工作开始。
1. 环境准备与前置检查
在开始安装之前，有几个关键点需要确认，这能避免后续90%的兼容性问题。
首先确认系统版本和内核信息：
cat /etc/redhat-release # 确认是CentOS 7.8 uname -r # 记录内核版本，如3.10.0-1127.el7.x86_64对于Tesla K80双卡，需要检查PCIe连接状态：
lspci | grep -i nvidia正常应该能看到两个NVIDIA设备，类似：
04:00.0 3D controller: NVIDIA Corporation GK210GL [Tesla K80] (rev a1) 83:00.0 3D controller: NVIDIA Corporation GK210GL [Tesla K80] (rev a1)关键依赖安装：
yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r) gcc make这里特别注意内核版本必须完全匹配，否则驱动编译会失败。可以通过以下命令验证：
ls -l /usr/src/kernels/$(uname -r) rpm -qa | grep kernel-devel2. NVIDIA驱动安装实战
2.1 禁用nouveau驱动
这是最常出问题的环节，必须彻底禁用系统自带的nouveau驱动：
- 创建配置文件：
echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/blacklist-nouveau.conf- 重建initramfs：
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak dracut /boot/initramfs-$(uname -r).img $(uname -r)- 重启进入命令行模式：
systemctl set-default multi-user.target reboot重启后验证nouveau是否已禁用：
lsmod | grep nouveau如果没有任何输出，说明禁用成功。
2.2 驱动安装与验证
从NVIDIA官网下载适合Tesla K80的驱动（建议版本450.80.02+）：
wget http://us.download.nvidia.com/tesla/450.80.02/NVIDIA-Linux-x86_64-450.80.02.run chmod +x NVIDIA-Linux-x86_64-450.80.02.run安装时指定内核源码路径：
./NVIDIA-Linux-x86_64-450.80.02.run --kernel-source-path=/usr/src/kernels/$(uname -r)/安装完成后，最重要的验证命令：
nvidia-smi正常输出应显示两块K80的信息，类似：
+-----------------------------------------------------------------------------+ | NVIDIA-SMI 450.80.02 Driver Version: 450.80.02 CUDA Version: 11.0 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Tesla K80 Off | 00000000:04:00.0 Off | 0 | | N/A 37C P0 57W / 149W | 0MiB / 11441MiB | 0% Default | +-------------------------------+----------------------+----------------------+ | 1 Tesla K80 Off | 00000000:83:00.0 Off | 0 | | N/A 32C P0 70W / 149W | 0MiB / 11441MiB | 0% Default | +-------------------------------+----------------------+----------------------+3. CUDA Toolkit与cuDNN安装
3.1 通过官方仓库安装CUDA
推荐使用NVIDIA官方仓库安装，确保版本兼容性：
distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g') curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo yum install -y cuda-11-0安装完成后配置环境变量：
echo 'export PATH=/usr/local/cuda-11.0/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc验证CUDA编译器：
nvcc --version3.2 cuDNN安装
下载对应CUDA 11.0的cuDNN包（需要NVIDIA开发者账号），然后安装：
tar -xzvf cudnn-11.0-linux-x64-v8.0.5.39.tgz cp cuda/include/cudnn*.h /usr/local/cuda/include/ cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*4. 深度学习框架环境配置
4.1 Conda环境创建
建议为每个项目创建独立的conda环境：
conda create -n dl_env python=3.8 -y conda activate dl_env4.2 PyTorch安装与测试
安装支持CUDA 11.0的PyTorch：
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch测试GPU可用性：
import torch print(torch.cuda.is_available()) # 应返回True print(torch.cuda.device_count()) # 应返回24.3 TensorFlow安装
对于Tesla K80，建议使用TF 2.4+：
pip install tensorflow-gpu==2.4.0测试脚本：
import tensorflow as tf print(tf.test.is_gpu_available()) # 应返回True print(tf.config.list_physical_devices('GPU')) # 应列出两个GPU5. 多GPU管理与优化技巧
5.1 温度与功耗监控
Tesla K80的主动散热需要特别关注：
watch -n 1 nvidia-smi可以实时监控GPU状态，重点关注温度和功耗指标。
5.2 持久模式设置
启用持久模式可以降低GPU唤醒延迟：
nvidia-smi -pm 15.3 多进程分配策略
在Python中合理分配GPU资源：
import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" # 同时使用两块卡 # 或者按需分配 import torch torch.cuda.set_device(0) # 主卡5.4 常见问题排查
驱动版本不匹配：
modinfo nvidia | grep version检查与nvidia-smi显示的驱动版本是否一致。
CUDA out of memory：
- 调整batch size
- 使用
torch.cuda.empty_cache() - 考虑使用梯度累积
双卡负载不均：
- 检查数据并行实现
- 验证PCIe带宽：
nvidia-smi topo -m