Ubuntu 18.04下Tesla M40显卡驱动安装避坑指南：从BIOS设置到nvidia-smi成功识别
Tesla M40显卡在Ubuntu 18.04下的驱动安装与BIOS关键配置实战
实验室环境中的深度学习工作站配置往往充满各种意想不到的挑战，尤其是当涉及到专业计算卡如Tesla M40的安装时。最近在为一台配备双Tesla M40 24GB显卡的华硕X99-A/USB3.1主板工作站安装Ubuntu 18.04系统时，我们遇到了一个典型但容易被忽视的问题：系统通过lspci命令可以识别到显卡，但nvidia-smi却无法检测到设备。本文将详细记录这一问题的排查过程与解决方案，特别聚焦于那个容易被忽略的BIOS设置——"Above 4G Decoding"。
1. 环境准备与基础安装
在开始安装Tesla M40显卡驱动之前，确保你的系统环境已经做好以下准备：
- 操作系统：Ubuntu 18.04 LTS（建议使用服务器版以减少图形界面冲突）
- 主板型号：华硕X99-A/USB3.1（其他主板类似问题可参考）
- 显卡型号：NVIDIA Tesla M40 24GB（多卡配置需特别注意）
- 推荐驱动版本：470.57.02（长期支持版本，稳定性较好）
- CUDA版本：11.4（与驱动版本兼容）
重要提醒：Tesla系列显卡没有视频输出接口，这意味着你需要：
- 使用集成显卡或另一块有显示输出的显卡进行初始安装
- 或者通过SSH远程连接进行配置
1.1 禁用nouveau驱动
NVIDIA驱动安装前的关键步骤是禁用Ubuntu默认的nouveau开源驱动：
# 创建禁用配置文件 sudo bash -c "echo 'blacklist nouveau' >> /etc/modprobe.d/blacklist-nouveau.conf" sudo bash -c "echo 'options nouveau modeset=0' >> /etc/modprobe.d/blacklist-nouveau.conf" # 更新initramfs sudo update-initramfs -u # 重启系统 sudo reboot重启后，验证nouveau是否已禁用：
lsmod | grep nouveau如果没有任何输出，说明禁用成功。
2. 驱动安装与初步验证
安装NVIDIA官方驱动有多种方法，我们推荐使用PPA仓库安装：
# 添加显卡驱动PPA sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 安装推荐驱动版本 sudo apt install nvidia-driver-470 # 安装相关工具包 sudo apt install nvidia-utils-470 nvidia-settings安装完成后，重启系统使驱动生效：
sudo reboot2.1 基础验证步骤
系统重启后，进行初步验证：
检查PCI设备识别：
lspci | grep -i nvidia正常情况应显示类似：
01:00.0 3D controller: NVIDIA Corporation GM200GL [Tesla M40] (rev a1) 02:00.0 3D controller: NVIDIA Corporation GM200GL [Tesla M40] (rev a1)检查驱动加载：
dmesg | grep -i nvidia查找是否有驱动加载成功的消息。
检查nvidia-smi：
nvidia-smi问题场景：此时可能会遇到命令返回"Unable to determine the device handle for GPU 0000:01:00.0: Unknown Error"等错误信息，尽管
lspci能识别到显卡。
3. 深入排查：当nvidia-smi无法识别显卡时
当遇到lspci可见但nvidia-smi不可见的情况时，需要系统性地排查多个可能的原因。
3.1 排查流程表
| 排查步骤 | 检查方法 | 可能结果与对应措施 |
|---|---|---|
| 硬件连接 | 检查显卡供电、PCIe插槽 | 重新插拔显卡，确保供电充足 |
| 内核模块 | `lsmod | grep nvidia` |
| 驱动版本 | `dpkg -l | grep nvidia` |
| 系统日志 | `dmesg | grep -i error` |
| BIOS设置 | 检查PCIe相关选项 | 特别是"Above 4G Decoding" |
| 电源管理 | 检查PCIe ASPM设置 | 尝试禁用ASPM |
3.2 重点排查：BIOS中的关键设置
经过上述排查后，如果问题依旧，很可能是BIOS设置问题。特别是对于多显卡配置的工作站，"Above 4G Decoding"选项至关重要。
注意：修改BIOS设置需要具有显示输出的显卡，如果使用Tesla M40作为唯一显卡，需要临时安装另一块有显示输出的显卡。
进入BIOS（华硕主板通常在启动时按Del或F2键）：
- 进入"Advanced"高级设置菜单
- 找到"PCI Subsystem Settings"
- 查找"Above 4G Decoding"选项
- 将其从"Disabled"改为"Enabled"
- 保存设置并退出BIOS
技术背景：Above 4G Decoding允许PCIe设备使用4GB以上的内存地址空间。对于多GPU系统，特别是大显存显卡如24GB的M40，启用此选项是必要的，因为：
- 每个GPU需要自己的内存映射I/O空间
- 禁用此选项会限制所有PCIe设备共享4GB以下的空间
- Tesla计算卡依赖正确的内存映射来初始化
4. 问题解决与最终验证
启用"Above 4G Decoding"后，重新安装Tesla M40显卡并启动系统。进行最终验证：
# 检查驱动加载 dmesg | grep -i nvidia # 检查设备识别 nvidia-smi成功识别时，nvidia-smi会显示类似输出：
+-----------------------------------------------------------------------------+ | NVIDIA-SMI 470.57.02 Driver Version: 470.57.02 CUDA Version: 11.4 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Tesla M40 On | 00000000:01:00.0 Off | 0 | | N/A 30C P8 15W / 250W | 0MiB / 24220MiB | 0% Default | | | | Enabled | +-------------------------------+----------------------+----------------------+ | 1 Tesla M40 On | 00000000:02:00.0 Off | 0 | | N/A 28C P8 15W / 250W | 0MiB / 24220MiB | 0% Default | | | | Enabled | +-------------------------------+----------------------+----------------------+4.1 多卡配置的额外注意事项
对于多Tesla M40配置的工作站，还需注意：
- PCIe带宽分配：确保主板PCIe插槽配置正确，x16插槽能提供足够带宽
- 散热考虑：M40采用被动散热，确保机箱风道良好
- 电源供应：每块M40最大TDP 250W，确保电源余量充足
- NCCL配置：多卡训练时需要正确配置NCCL参数
# 检查PCIe链路速度 nvidia-smi -q | grep "Link Width"5. 性能优化与长期维护
成功安装驱动后，可以进行一些优化设置以提升稳定性和性能：
持久化模式设置（减少初始化延迟）：
sudo nvidia-smi -pm 1ECC设置（根据需求启用/禁用）：
# 查看当前ECC状态 nvidia-smi -e # 启用ECC sudo nvidia-smi -e 1 # 禁用ECC（可能获得更高性能） sudo nvidia-smi -e 0风扇控制脚本（针对被动散热设计）：
# 示例：设置机箱风扇转速基于GPU温度 # 需要根据具体硬件环境调整 while true; do temp=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader) if [ $temp -gt 75 ]; then echo 100 > /sys/class/hwmon/hwmon1/pwm1 elif [ $temp -gt 65 ]; then echo 80 > /sys/class/hwmon/hwmon1/pwm1 else echo 60 > /sys/class/hwmon/hwmon1/pwm1 fi sleep 60 done监控设置：建议配置Prometheus + Grafana监控GPU状态，或使用简单的定时日志：
# 每5分钟记录一次GPU状态到日志 */5 * * * * /usr/bin/nvidia-smi --query-gpu=timestamp,temperature.gpu,utilization.gpu,memory.used,memory.total --format=csv >> /var/log/gpu_monitor.log
在实际部署中，我们发现启用"Above 4G Decoding"后不仅解决了显卡识别问题，还提升了多卡间的通信效率。特别是在使用NCCL进行多卡训练时，PCIe配置的正确性直接影响AllReduce操作的性能。