银河麒麟高级服务器操作系统V10SP2（ARM）下Mellanox网卡驱动编译与内核适配实战

1. 环境准备与驱动包获取

在银河麒麟高级服务器操作系统V10SP2（ARM架构）上手动编译Mellanox网卡驱动前，需要确认三个关键要素：操作系统版本、内核版本和网卡型号。以实际生产环境为例，执行以下命令查看系统信息：

cat /etc/os-release uname -r lspci | grep Mellanox

典型输出如下：

############## Kylin Linux Version ################# Release: Kylin Linux Advanced Server release V10 (Sword) Kernel: 4.19.90-24.4.v2101.ky10.aarch64 Build: Kylin Linux Advanced Server release V10 (SP2)/(Sword)-aarch64-Build09/20210524 ################################################# Mellanox Technologies MT27800 Family [ConnectX-5]

驱动包下载注意事项：

1. 访问NVIDIA官网 Mellanox OFED驱动页面 ，选择对应版本（如5.4-3.7.5.0）
2. 必须下载ARM架构的ISO文件（命名示例：MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso）
3. 若官网无直接适配版本，选择最接近的Linux发行版驱动包（如CentOS ARM版）

2. 基础依赖安装与驱动挂载

2.1 安装编译依赖包

执行以下命令安装必要工具链：

yum install -y tcsh rpm-build elfutils-devel createrepo kernel-devel-$(uname -r) gcc make

常见问题排查：

• 若提示kernel-devel版本不匹配，需通过yum list kernel-devel查看可用版本
• 银河麒麟系统可能需要先配置官方源：

  cat > /etc/yum.repos.d/kylin.repo <<EOF [ks10-adv-os] name=Kylin Linux Advanced Server 10 - Os baseurl=http://archive.kylinos.cn/yum/v10/sp2/adv/lic/base/aarch64/ enabled=1 gpgcheck=0 EOF

2.2 挂载驱动ISO文件

创建挂载点并加载驱动镜像：

mkdir -p /mnt/mlnx mount -o ro,loop MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mnt/mlnx

验证挂载结果：

ls /mnt/mlnx

应看到包含mlnxofedinstall、mlnx_add_kernel_support.sh等关键文件。

3. 内核升级后的驱动编译实战

3.1 直接安装的报错分析

当内核版本与驱动不匹配时（如系统升级到4.19.90-25.29.v2101.ky10.aarch64），直接运行安装脚本会报错：

cd /mnt/mlnx ./mlnxofedinstall --skip-distro-check

典型错误信息：

ERROR: MLNX_OFED_LINUX-5.4-3.7.5.0 does not support kernel 4.19.90-25.29.v2101.ky10.aarch64

3.2 使用内核适配脚本编译

驱动包内置的mlnx_add_kernel_support.sh可解决此问题：

./mlnx_add_kernel_support.sh -m /mnt/mlnx

编译过程详解：

1. 脚本自动检测当前内核路径：/lib/modules/$(uname -r)/build
2. 创建临时编译目录（默认在/tmp）
3. 重新构建以下核心模块：
   • mlx5_core（ConnectX-5驱动）
   • ib_core（InfiniBand核心模块）
   • mlx_compat（内核兼容层）

空间不足解决方案： 若/tmp空间不足，可通过挂载临时文件系统扩展：

mount -t tmpfs -o size=8G tmpfs /tmp

4. 驱动安装与验证

4.1 安装编译后的驱动

进入编译输出目录执行安装：

cd /tmp/MLNX_OFED_LINUX-5.4-3.7.5.0-compat/ ./mlnxofedinstall --skip-distro-check --without-fw-update

关键参数说明：

• --skip-distro-check：跳过系统发行版检测
• --without-fw-update：跳过固件升级（需确保网卡固件已最新）
• --force：强制覆盖安装（慎用）

4.2 配置与加载驱动

1. 更新initramfs：

   dracut -f

2. 启动服务：

   systemctl start openibd systemctl enable openibd

3. 验证驱动状态：

   ibstat

   正常输出应显示网卡端口状态为Active

5. 典型问题解决方案

5.1 模块加载失败排查

若出现mlx5_core: Unknown symbol错误，执行：

depmod -a modprobe -r mlx5_core ib_core modprobe mlx5_core

5.2 性能调优建议

修改/etc/modprobe.d/mlx.conf优化参数：

options mlx4_core log_num_mgm_entry_size=-1 options ib_ipoib send_queue_size=1024 recv_queue_size=1024

5.3 多网卡绑定配置

创建/etc/modprobe.d/bonding.conf：

alias bond0 bonding options bonding mode=4 miimon=100 lacp_rate=1

然后在/etc/network/interfaces中添加：

auto bond0 iface bond0 inet static address 192.168.1.100 netmask 255.255.255.0 slaves enp1s0f0 enp1s0f1 bond_miimon 100 bond_mode 802.3ad

6. 持久化与维护

6.1 防止驱动被覆盖

添加内核模块黑名单：

echo "blacklist mlx4_core" > /etc/modprobe.d/blacklist-mlnx.conf echo "blacklist mlx5_core" >> /etc/modprobe.d/blacklist-mlnx.conf

6.2 升级内核后的处理

每次内核升级后需重新编译：

/usr/lib/modules/$(uname -r)/extra/mlnx-ofa_kernel/scripts/mlnx_ofed_install.sh --kernel-only

6.3 日志收集方法

出现问题时运行诊断工具：

/usr/bin/mlnx_support -i

生成的日志文件位于/tmp/mlnx_support_*.tar.gz

在实际运维中遇到过这样的情况：某次内核安全更新后，驱动突然无法加载。通过分析dmesg发现是内核符号表变更导致，最终采用重新编译驱动并手动加载compat模块解决。这提醒我们，在国产化替代过程中，硬件驱动与操作系统的深度适配需要持续关注更新动态。