保姆级教程：用Kolla部署的OpenStack，给计算节点挂载NVIDIA Tesla T4显卡（附配置清单）

深度实战：Kolla-Ansible部署的OpenStack中NVIDIA Tesla T4显卡透传全指南

当企业级云平台需要承载AI训练、3D渲染或高性能计算任务时，GPU透传技术成为关键解决方案。本文将基于Kolla-Ansible容器化部署的OpenStack环境，详细解析如何为计算节点配置NVIDIA Tesla T4显卡的PCI Passthrough功能。

1. 环境准备与硬件检查

在开始配置前，必须确保硬件和基础环境满足透传要求。首先通过SSH登录到目标计算节点，执行以下硬件检测命令：

lspci -nn | grep -i nvidia

典型输出应包含类似信息：

01:00.0 3D controller [0302]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1)

关键验证点包括：

• IOMMU支持：确认BIOS中已启用AMD-Vi/Intel VT-d功能
• 驱动状态：检查vfio-pci驱动是否正常加载
• 内存映射：确保GPU显存地址已正确分配

提示：若发现显存地址显示为disabled，需检查PCIe插槽供电和固件兼容性

2. 系统级配置调整

2.1 内核参数修改

编辑/etc/default/grub文件，在GRUB_CMDLINE_LINUX行追加以下参数：

GRUB_CMDLINE_LINUX="... amd_iommu=on iommu=pt vfio_iommu_type1.allow_unsafe_interrupts=1"

更新GRUB配置后重启：

grub2-mkconfig -o /boot/grub2/grub.cfg reboot

2.2 VFIO驱动绑定

创建/etc/modprobe.d/vfio.conf文件：

options vfio-pci ids=10de:1eb8 blacklist nouveau

加载内核模块：

echo "vfio-pci" > /etc/modules-load.d/vfio.conf systemctl restart systemd-modules-load

3. OpenStack服务配置

3.1 Nova计算节点配置

修改/etc/kolla/nova-compute/nova.conf：

[pci] passthrough_whitelist = {"vendor_id":"10de","product_id":"1eb8"} alias = {"name":"t4-gpu","vendor_id":"10de","product_id":"1eb8","device_type":"type-PCI"}

3.2 控制节点集群配置

需要同步修改三个关键服务配置：

配置示例：

[scheduler] available_filters = nova.scheduler.filters.all_filters enabled_filters = RetryFilter,AvailabilityZoneFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,PciPassthroughFilter

重启服务集群：

kolla-ansible restart -t nova

4. 数据库验证与资源发布

4.1 检查PCI设备注册

登录MySQL数据库验证设备状态：

SELECT * FROM nova.pci_devices WHERE vendor_id='10de' AND product_id='1eb8';

预期应看到status为available的记录。

4.2 创建GPU规格类型

通过OpenStack CLI创建专用规格：

openstack flavor create --vcpus 8 --ram 32768 --disk 100 gpu.t4 openstack flavor set --property "pci_passthrough:alias"="t4-gpu:1" gpu.t4

5. 实例部署与验证

启动测试实例：

openstack server create --flavor gpu.t4 --image ubuntu-20.04 --network private gpu-test

登录实例后验证设备：

lspci | grep -i nvidia nvidia-smi

常见问题排查：

1. 设备未识别：检查实例XML配置是否包含<hostdev>标签
2. 驱动加载失败：确认实例内已安装匹配的NVIDIA驱动
3. 性能异常：验证NUMA亲和性和PCIe链路速度

6. 生产环境优化建议

对于企业级部署，建议考虑以下增强措施：

• SR-IOV配置：通过vGPU技术实现资源切分
• 温度监控：集成Prometheus exporter采集GPU指标
• 自动伸缩：结合Heat模板实现GPU节点弹性扩展
• 驱动管理：使用Ansible自动化实例驱动部署

配置片段示例（playbooks/install_nvidia.yml）：

- name: Install NVIDIA drivers apt: name: "nvidia-driver-{{ driver_version }}" state: present vars: driver_version: "450"

通过上述完整流程，企业可以在Kolla-Ansible构建的OpenStack云平台上稳定运行GPU加速的工作负载。实际部署中建议先在测试环境验证所有步骤，再逐步推广到生产集群。