Linux下PCI设备热插拔实战：手把手教你用sysfs的remove和rescan命令（以Intel I350网卡为例）

Linux下PCI设备热插拔实战：深入解析sysfs操作与Intel I350网卡管理

当服务器上的Intel I350网卡突然停止响应，或者需要在不重启系统的情况下更换故障设备时，掌握PCI设备的热插拔技术就显得尤为重要。本文将带你深入Linux内核的sysfs接口，通过实战演示如何安全地对PCI设备进行动态移除与重新识别。

1. PCI设备热插拔基础与原理

PCI设备热插拔是指在系统运行过程中，无需关机即可添加或移除硬件设备的能力。Linux内核通过sysfs文件系统提供了对PCI设备的精细控制接口。

1.1 sysfs中的PCI设备表示

在/sys/bus/pci/目录下，每个PCI设备都有一个对应的子目录，命名格式为<domain>:<bus>:<slot>.<function>。例如：

/sys/bus/pci/devices/0000:03:00.0/

关键文件节点包括：

• remove：写入1可触发设备移除
• rescan：写入1可触发总线重新扫描
• resource：显示设备的内存和I/O资源分配

1.2 设备树结构解析

使用lspci -t命令可以查看PCI设备的树状结构：

-[0000:00]-+-01.4-[03]--+-00.0 Intel Corporation I350 Gigabit Network Connection | \-00.1 Intel Corporation I350 Gigabit Network Connection

在这个结构中：

• 00:01.4是根端口(root port)
• 03:00.0和03:00.1是I350网卡的两个功能(function)

2. 安全移除PCI设备的完整流程

2.1 准备工作与状态检查

在操作前，务必进行以下检查：

1. 确认设备当前状态：

   lspci -nn | grep I350

   输出示例：

   03:00.0 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) 03:00.1 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)

2. 检查设备是否正在使用：

   lsof /dev/sd* # 对于存储设备 ss -tulnp | grep <网卡名> # 对于网络设备

3. 备份重要配置：

   ethtool -g eth0 > eth0_settings.txt ip addr show eth0 > eth0_network.txt

2.2 执行设备移除

对于Intel I350网卡的两个功能，分别执行：

echo 1 > /sys/bus/pci/devices/0000:03:00.0/remove echo 1 > /sys/bus/pci/devices/0000:03:00.1/remove

关键注意事项：

• 确保没有进程正在使用该设备
• 移除操作不可逆，务必提前备份配置
• 对于多功能设备，可能需要移除所有相关功能

2.3 验证移除结果

1. 再次运行lspci确认设备已消失
2. 检查内核日志：

   dmesg | tail -20

   预期会看到类似日志：

   [73835.573048] pci 0000:03:00.0: Removing from sysfs [73835.573066] pci 0000:03:00.0: PCIe link lost

3. 设备重新扫描与恢复

3.1 全局总线扫描方法

最简单的恢复方式是触发整个PCI总线的重新扫描：

echo 1 > /sys/bus/pci/rescan

这种方法会：

1. 扫描所有PCI总线
2. 重新发现所有未初始化的设备
3. 自动加载相应的驱动程序

3.2 精确的局部扫描方法

对于大型系统，全局扫描可能耗时较长。更高效的方法是只扫描特定总线：

echo 1 > /sys/bus/pci/devices/0000:00:01.4/rescan

这里00:01.4是I350网卡所在总线的上游端口。这种方法只会扫描bus 03上的设备，效率更高。

3.3 恢复验证与配置

1. 确认设备重新出现：

   lspci -nn | grep I350

2. 检查设备资源分配：

   dmesg | grep "assigned"

   典型输出：

   [72131.692082] pci 0000:03:00.0: BAR 0: assigned [mem 0xef600000-0xef61ffff] [72131.692087] pci 0000:03:00.1: BAR 0: assigned [mem 0xef620000-0xef63ffff]

3. 恢复网络配置：

   ip addr add 192.168.1.100/24 dev eth0 ip link set eth0 up

4. 高级应用场景与故障排查

4.1 驱动问题处理

当设备重新扫描后未被正确识别时：

1. 手动卸载驱动：

   modprobe -r igb

2. 重新加载驱动：

   modprobe igb

3. 强制设备探测：

   echo 0000:03:00.0 > /sys/bus/pci/drivers_probe

4.2 资源冲突解决

如果设备无法获得所需资源：

1. 检查PCI桥设置：

   lspci -vv -s 00:01.4

2. 尝试释放其他设备资源

3. 必要时调整BIOS中的PCI资源分配

4.3 自动化脚本示例

以下脚本实现了安全的热插拔流程：

#!/bin/bash DEVICE="0000:03:00.0" BACKUP_DIR="/root/pci_backup" # 备份配置 mkdir -p $BACKUP_DIR ethtool -i $(basename $(readlink /sys/bus/pci/devices/$DEVICE/net/*)) > $BACKUP_DIR/ethtool.txt ip addr show > $BACKUP_DIR/network.txt # 安全移除 echo "Removing device $DEVICE" echo 1 > /sys/bus/pci/devices/$DEVICE/remove sleep 2 # 重新扫描 echo "Rescanning PCI bus" echo 1 > /sys/bus/pci/rescan sleep 5 # 恢复配置 echo "Restoring configuration" ip addr flush dev eth0 ip addr add 192.168.1.100/24 dev eth0 ip link set eth0 up

5. 内核机制深度解析

5.1 remove操作的内核调用栈

当向remove文件写入时，内核执行路径如下：

pci_remove_bus_device → pci_stop_and_remove_bus_device_locked → remove_store → kernfs_fop_write → vfs_write → ksys_write → do_syscall_64

关键操作包括：

1. 停止设备I/O操作
2. 调用驱动程序的remove回调
3. 释放PCI资源配置
4. 从sysfs中移除设备节点

5.2 rescan操作的内核实现

rescan操作主要完成两个任务：

1. 资源分配：

   pci_assign_resource → assign_requested_resources_sorted → __assign_resources_sorted → __pci_bus_assign_resources → pci_assign_unassigned_bus_resources → pci_rescan_bus → rescan_store

2. 设备探测：

   pci_device_probe → really_probe → driver_probe_device → bus_for_each_drv → __device_attach → pci_bus_add_device → pci_bus_add_devices → pci_rescan_bus → rescan_store

在实际项目中，我发现精确的局部rescan（通过父设备）比全局rescan更可靠，特别是在处理复杂PCIe拓扑结构时。这种方法减少了系统中断时间，对生产环境的影响更小。