银河麒麟高级服务器操作系统V10SP2（ARM）下Mellanox网卡驱动编译与内核适配实战

1. 环境准备与驱动包获取在银河麒麟高级服务器操作系统V10SP2ARM架构上手动编译Mellanox网卡驱动前需要确认三个关键要素操作系统版本、内核版本和网卡型号。以实际生产环境为例执行以下命令查看系统信息cat /etc/os-release uname -r lspci | grep Mellanox典型输出如下############## Kylin Linux Version ################# Release: Kylin Linux Advanced Server release V10 (Sword) Kernel: 4.19.90-24.4.v2101.ky10.aarch64 Build: Kylin Linux Advanced Server release V10 (SP2)/(Sword)-aarch64-Build09/20210524 ################################################# Mellanox Technologies MT27800 Family [ConnectX-5]驱动包下载注意事项访问NVIDIA官网 Mellanox OFED驱动页面 选择对应版本如5.4-3.7.5.0必须下载ARM架构的ISO文件命名示例MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso若官网无直接适配版本选择最接近的Linux发行版驱动包如CentOS ARM版2. 基础依赖安装与驱动挂载2.1 安装编译依赖包执行以下命令安装必要工具链yum install -y tcsh rpm-build elfutils-devel createrepo kernel-devel-$(uname -r) gcc make常见问题排查若提示kernel-devel版本不匹配需通过yum list kernel-devel查看可用版本银河麒麟系统可能需要先配置官方源cat /etc/yum.repos.d/kylin.repo EOF [ks10-adv-os] nameKylin Linux Advanced Server 10 - Os baseurlhttp://archive.kylinos.cn/yum/v10/sp2/adv/lic/base/aarch64/ enabled1 gpgcheck0 EOF2.2 挂载驱动ISO文件创建挂载点并加载驱动镜像mkdir -p /mnt/mlnx mount -o ro,loop MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mnt/mlnx验证挂载结果ls /mnt/mlnx应看到包含mlnxofedinstall、mlnx_add_kernel_support.sh等关键文件。3. 内核升级后的驱动编译实战3.1 直接安装的报错分析当内核版本与驱动不匹配时如系统升级到4.19.90-25.29.v2101.ky10.aarch64直接运行安装脚本会报错cd /mnt/mlnx ./mlnxofedinstall --skip-distro-check典型错误信息ERROR: MLNX_OFED_LINUX-5.4-3.7.5.0 does not support kernel 4.19.90-25.29.v2101.ky10.aarch643.2 使用内核适配脚本编译驱动包内置的mlnx_add_kernel_support.sh可解决此问题./mlnx_add_kernel_support.sh -m /mnt/mlnx编译过程详解脚本自动检测当前内核路径/lib/modules/$(uname -r)/build创建临时编译目录默认在/tmp重新构建以下核心模块mlx5_coreConnectX-5驱动ib_coreInfiniBand核心模块mlx_compat内核兼容层空间不足解决方案 若/tmp空间不足可通过挂载临时文件系统扩展mount -t tmpfs -o size8G tmpfs /tmp4. 驱动安装与验证4.1 安装编译后的驱动进入编译输出目录执行安装cd /tmp/MLNX_OFED_LINUX-5.4-3.7.5.0-compat/ ./mlnxofedinstall --skip-distro-check --without-fw-update关键参数说明--skip-distro-check跳过系统发行版检测--without-fw-update跳过固件升级需确保网卡固件已最新--force强制覆盖安装慎用4.2 配置与加载驱动更新initramfsdracut -f启动服务systemctl start openibd systemctl enable openibd验证驱动状态ibstat正常输出应显示网卡端口状态为Active5. 典型问题解决方案5.1 模块加载失败排查若出现mlx5_core: Unknown symbol错误执行depmod -a modprobe -r mlx5_core ib_core modprobe mlx5_core5.2 性能调优建议修改/etc/modprobe.d/mlx.conf优化参数options mlx4_core log_num_mgm_entry_size-1 options ib_ipoib send_queue_size1024 recv_queue_size10245.3 多网卡绑定配置创建/etc/modprobe.d/bonding.confalias bond0 bonding options bonding mode4 miimon100 lacp_rate1然后在/etc/network/interfaces中添加auto bond0 iface bond0 inet static address 192.168.1.100 netmask 255.255.255.0 slaves enp1s0f0 enp1s0f1 bond_miimon 100 bond_mode 802.3ad6. 持久化与维护6.1 防止驱动被覆盖添加内核模块黑名单echo blacklist mlx4_core /etc/modprobe.d/blacklist-mlnx.conf echo blacklist mlx5_core /etc/modprobe.d/blacklist-mlnx.conf6.2 升级内核后的处理每次内核升级后需重新编译/usr/lib/modules/$(uname -r)/extra/mlnx-ofa_kernel/scripts/mlnx_ofed_install.sh --kernel-only6.3 日志收集方法出现问题时运行诊断工具/usr/bin/mlnx_support -i生成的日志文件位于/tmp/mlnx_support_*.tar.gz在实际运维中遇到过这样的情况某次内核安全更新后驱动突然无法加载。通过分析dmesg发现是内核符号表变更导致最终采用重新编译驱动并手动加载compat模块解决。这提醒我们在国产化替代过程中硬件驱动与操作系统的深度适配需要持续关注更新动态。