在VMware ESXi 7.0上给Ubuntu 18.04直通Tesla P100显卡，我踩了半年的坑终于填平了

在VMware ESXi 7.0上为Ubuntu 18.04直通Tesla P100显卡的终极实践指南

当我在数据中心第一次尝试将Tesla P100显卡直通给ESXi上的Ubuntu虚拟机时，完全没想到这会成为持续半年的技术拉锯战。每次看到no devices were found的错误提示，都让我对虚拟化技术的复杂性有了新的认识。这篇指南不仅是一份操作手册，更是一个经历过无数次失败后的经验结晶，希望能为同样挣扎在GPU直通路上的同行节省宝贵时间。

1. 环境准备：那些容易被忽视的基础配置

1.1 硬件与固件层的隐形门槛

我的实验环境采用Dell R720xd服务器搭载Tesla P100 PCIe 16GB显卡，运行VMware vSphere 7.0.3。初期查阅大量文档都强调需要开启BIOS中的以下选项：

• Above 4G Decoding
• Memory Mapped I/O above 4GB
• PCI 64-bit Resource Handling above 4G

有趣的是，我的Dell服务器BIOS中并未找到这些选项，但最终仍成功实现了直通。这说明不同厂商的硬件实现存在差异，这些选项可能已被整合或默认开启。建议先尝试直通流程，而非纠结于找不到的BIOS设置。

1.2 ESXi主机层面的必要配置

在vSphere Client中完成这些基础操作：

1. 进入主机管理 → 硬件 → PCI设备
2. 找到Tesla P100设备并切换直通状态
3. 重启ESXi主机使配置生效

注意：部分NVIDIA企业级显卡需要额外安装vGPU驱动包，但P100作为计算卡无需此步骤，这是早期容易混淆的点。

2. 虚拟机创建：魔鬼藏在细节中

2.1 虚拟机配置的黄金法则

创建Ubuntu 18.04虚拟机时，这些参数经过反复验证：

# 通过SSH检查虚拟机配置 vim-cmd vmsvc/getallvms | grep -i ubuntu

2.2 高级参数的血泪教训

在.vmx文件中添加这些关键参数：

pciPassthru.use64bitMMIO = "TRUE" pciPassthru.64bitMMIOSizeGB = "32"

重要发现：早期尝试中添加hypervisor.cpuid.v0 = "FALSE"反而会导致问题。NVIDIA官方文档虽建议此参数，但在ESXi 7.0 + P100的组合中无需设置。

显存大小计算公式：

GPU数量 × 单卡显存(GB) → 向上取整到2的幂次方

例如：

• 1×P100(16GB) → 32GB
• 2×V100(32GB) → 128GB

3. 驱动安装：跨越最后一道坎

3.1 系统层面的必要准备

在Ubuntu 18.04中执行：

# 更新软件源并安装基础工具 sudo apt update && sudo apt install -y build-essential dkms # 禁用Nouveau驱动 echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf echo "options nouveau modeset=0" | sudo tee -a /etc/modprobe.d/blacklist-nouveau.conf sudo update-initramfs -u

3.2 NVIDIA驱动安装实战

推荐使用官方仓库安装470系列驱动：

# 添加官方PPA sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 安装驱动（示例版本号） sudo apt install -y nvidia-driver-470 # 验证安装 nvidia-smi

如果输出显示Tesla P100的信息且没有错误提示，恭喜你完成了最艰难的部分。我在这个阶段遇到的各种报错，90%都可以通过以下步骤解决：

1. 确认lspci | grep -i nvidia能识别设备
2. 检查/var/log/nvidia-installer.log中的详细错误
3. 完全卸载驱动后重装（使用sudo apt purge nvidia-*）

4. 性能调优与稳定性保障

4.1 内存与PCIe调优参数

在虚拟机高级配置中添加：

vhv.enable = "TRUE" pciPassthru.msiEnabled = "FALSE"

这些参数显著提升了我的AI训练任务稳定性：

• 减少了CUDA memory copy时的DMA错误
• 将PCIe带宽利用率从85%提升到93%

4.2 温度监控方案

由于直通后ESXi无法读取GPU传感器数据，需要在Ubuntu内部部署监控：

# 安装监控工具 sudo apt install -y lm-sensors nvtop # 实时监控命令 watch -n 1 "nvidia-smi && sensors"

建议设置报警阈值：

• GPU温度 > 85℃
• 显存占用 > 90%

5. 那些让我夜不能寐的疑难杂症

5.1 经典错误代码大全

5.2 虚拟机快照的陷阱

惨痛教训：创建快照后直通设备可能失效。必须：

1. 完全关闭虚拟机（非挂起）
2. 移除所有快照
3. 重新添加PCI设备

现在，当我在虚拟机中运行nvidia-smi看到那熟悉的P100信息时，半年的挫折都化为了宝贵的经验。记住，GPU直通不是简单的复选框操作，而是需要对虚拟化架构、硬件特性和操作系统有全局理解的系统工程。