当前位置: 首页 > news >正文

CentOS上安装Mellanox OFED

打开Mellanox官网下载驱动 Linux InfiniBand Drivers

点击下载链接跳转至

 Tgz解压缩执行 ./mlnxofedinstall发现缺少模块

# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX.11337.logs
General log file: /tmp/MLNX_OFED_LINUX.11337.logs/general.log
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install kernel-modules-extra tk

先安装 kernel modules

# yum install kernel-modules-extra tk
Last metadata expiration check: 0:41:59 ago on Fri 19 Jan 2024 08:46:46 PM CST.
Dependencies resolved.
=====================================================================================================================================================================================================================Package                                                Architecture                             Version                                                         Repository                                     Size
=====================================================================================================================================================================================================================
Installing:tk                                                     x86_64                                   1:8.6.8-1.el8                                                   CentOS8.4-0                                   1.6 Mkernel-modules-extra                                   x86_64                                   4.18.0-305.19.1.el8_4                                           CentOS8.4-1                                   6.6 M
Upgrading:dracut                                                 x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                   372 kdracut-config-rescue                                   x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                    58 kdracut-network                                         x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                   105 kdracut-squash                                          x86_64                                   049-135.git20210121.el8                                         CentOS8.4-1                                    58 kiptables                                               x86_64                                   1.8.4-17.el8                                                    CentOS8.4-1                                   586 kiptables-ebtables                                      x86_64                                   1.8.4-17.el8                                                    CentOS8.4-1                                    71 kiptables-libs                                          x86_64                                   1.8.4-17.el8                                                    CentOS8.4-1                                   107 kkexec-tools                                            x86_64                                   2.0.20-46.el8_4.2                                               CentOS8.4-1                                   508 klibnftnl                                               x86_64                                   1.1.5-4.el8                                                     CentOS8.4-1                                    83 klinux-firmware                                         noarch                                   20201218-102.git05789708.el8                                    CentOS8.4-1                                   123 Msystemd                                                x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   3.6 Msystemd-container                                      x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   744 ksystemd-libs                                           x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   1.1 Msystemd-pam                                            x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   469 ksystemd-udev                                           x86_64                                   239-45.el8_4.3                                                  CentOS8.4-1                                   1.4 M
Installing dependencies:kernel-core                                            x86_64                                   4.18.0-305.19.1.el8_4                                           CentOS8.4-1                                    36 Mkernel-modules                                         x86_64                                   4.18.0-305.19.1.el8_4                                           CentOS8.4-1                                    28 M
Installing weak dependencies:memstrack                                              x86_64                                   0.1.11-1.el8                                                    CentOS8.4-1                                    48 kTransaction Summary
=====================================================================================================================================================================================================================
Install   5 Packages
Upgrade  15 PackagesTotal download size: 204 M
Is this ok [y/N]: y
Downloading Packages:

再安装OFED

# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX.33933.logs
General log file: /tmp/MLNX_OFED_LINUX.33933.logs/general.log
Verifying KMP rpms compatibility with target kernel...
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.Do you want to continue?[y/N]:yUninstalling MLNX_EN driverrpm --nosignature -e --allmatches --nodeps libibverbs libibverbs-utils libibumad ibacm librdmacm opensm opensm-libs infiniband-diags opensm opensm-libs libibumad ibacm libibverbs libibverbs-utils librdmacm infiniband-diagsStarting MLNX_OFED_LINUX-23.10-1.1.9.0 installation ...Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Installing mlnx-ofa_kernel RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9########################################
Configured /etc/security/limits.conf
Installing kmod-mlnx-ofa_kernel 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing mlnx-ofa_kernel-devel RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-devel-23.10-OFED.23.10########################################
Installing mlnx-ofa_kernel-source RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-source-23.10-OFED.23.1########################################
Installing kmod-kernel-mft-mlnx 4.26.1 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing knem RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
knem-1.1.4.90mlnx3-OFED.23.10.0.2.1.1.########################################
Installing kmod-knem 1.1.4.90mlnx3 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing xpmem RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
xpmem-2.7.3-1.2310055.rhel8u1         ########################################
Installing kmod-xpmem 2.7.3 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing kmod-iser 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing kmod-srp 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing kmod-isert 23.10 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Installing libxpmem 2.7.3 RPM
Verifying...                          ########################################
Preparing...                          ########################################
Updating / installing...
libxpmem-2.7.3-1.2310055.rhel8u1      ########################################
Installing user level RPMs:
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Verifying...                          ########################################
Preparing...                          ########################################
Device (0000:2f:00.0):0000:2f:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]Link Width: x16PCI Link Speed: 8GT/sDevice (0000:2f:00.1):0000:2f:00.1 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]Link Width: x16PCI Link Speed: 8GT/sInstallation finished successfully.Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...1:mlnx-fw-updater-23.10-1.1.9.0    ################################# [100%]Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.confInitializing...
Attempting to perform Firmware update...The firmware for this device is not distributed inside Mellanox driver: 0000:2f:00.0 (PSID: LNV0000000017)
To obtain firmware for this device, please contact your HW vendor.Failed to update Firmware.
See /tmp/MLNX_OFED_LINUX.33933.logs/fw_update.log
To load the new driver, run:
/etc/init.d/openibd restart# /etc/init.d/openibd restart
Unloading rdma_cm                                          [FAILED]
rmmod: ERROR: Module rdma_cm is in use by: rpcrdma ib_srpt ib_isert# modprobe -r rdma_cm
modprobe: FATAL: Module rdma_cm is in use.# rmmod rdma_cm
rmmod: ERROR: Module rdma_cm is in use by: rpcrdma ib_srpt ib_isert# cat /tmp/MLNX_OFED_LINUX.33933.logs/fw_update.logThe firmware for this device is not distributed inside Mellanox driver: 0000:2f:00.0 (PSID: LNV0000000017)
To obtain firmware for this device, please contact your HW vendor.EXIT_STATUS: 2# yum install opensm
new_perftrace                                                                                                                                                                   602 kB/s | 2.9 kB     00:00    
new_brpc_rel                                                                                                                                                                    728 kB/s | 2.9 kB     00:00    
new_lnpfa                                                                                                                                                                       774 kB/s | 2.9 kB     00:00    
new_ftp                                                                                                                                                                         799 kB/s | 2.9 kB     00:00    
new_lnutil                                                                                                                                                                      808 kB/s | 2.9 kB     00:00    
new_deploy_frontend                                                                                                                                                             815 kB/s | 2.9 kB     00:00    
new_recoverymode                                                                                                                                                                834 kB/s | 2.9 kB     00:00    
new_dnsmasq                                                                                                                                                                     584 kB/s | 2.9 kB     00:00    
new_nas_setup                                                                                                                                                                   732 kB/s | 2.9 kB     00:00    
new_bootstrap                                                                                                                                                                   776 kB/s | 2.9 kB     00:00    
new_eagle_eye                                                                                                                                                                   811 kB/s | 2.9 kB     00:00    
new_ngds                                                                                                                                                                        819 kB/s | 2.9 kB     00:00    
centos8.4_0                                                                                                                                                                     1.5 MB/s | 4.3 kB     00:00    
centos8.4_1                                                                                                                                                                     1.2 MB/s | 3.9 kB     00:00    
centos8.4_2                                                                                                                                                                     1.3 MB/s | 3.8 kB     00:00    
centos8.4_3                                                                                                                                                                     1.4 MB/s | 3.9 kB     00:00    
centos8.4_4                                                                                                                                                                     1.7 MB/s | 4.3 kB     00:00    
centos8.4_5                                                                                                                                                                     1.5 MB/s | 4.3 kB     00:00    
centos8.4_6                                                                                                                                                                     1.3 MB/s | 3.9 kB     00:00    
centos8.4_7                                                                                                                                                                     1.3 MB/s | 3.9 kB     00:00    
centos8.4_8                                                                                                                                                                     1.3 MB/s | 3.8 kB     00:00    
centos8.4_9                                                                                                                                                                     1.5 MB/s | 3.9 kB     00:00    
centos8.4_10                                                                                                                                                                    1.4 MB/s | 3.9 kB     00:00    
centos8.4_11                                                                                                                                                                    1.1 MB/s | 2.9 kB     00:00    
centos8.4_12                                                                                                                                                                    1.5 MB/s | 4.3 kB     00:00    
centos8.4_13                                                                                                                                                                    551 kB/s | 1.5 kB     00:00    
centos8.4_15                                                                                                                                                                    991 kB/s | 3.0 kB     00:00    
centos8.4_16                                                                                                                                                                    1.0 MB/s | 3.0 kB     00:00    
centos8.4_17                                                                                                                                                                    1.0 MB/s | 3.0 kB     00:00    
centos8.4_18                                                                                                                                                                    1.1 MB/s | 3.0 kB     00:00    
centos8.4_19                                                                                                                                                                    610 kB/s | 1.5 kB     00:00    
centos8.4_20                                                                                                                                                                    628 kB/s | 1.5 kB     00:00    
centos8.4_21                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_22                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_23                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_24                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_25                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_26                                                                                                                                                                    1.3 MB/s | 3.0 kB     00:00    
centos8.4_27                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_28                                                                                                                                                                    1.1 MB/s | 3.0 kB     00:00    
centos8.4_29                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_30                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_31                                                                                                                                                                    1.3 MB/s | 3.0 kB     00:00    
centos8.4_32                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_41                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_47                                                                                                                                                                    1.1 MB/s | 3.0 kB     00:00    
centos8.4_48                                                                                                                                                                    1.2 MB/s | 3.0 kB     00:00    
centos8.4_49                                                                                                                                                                    1.3 MB/s | 3.0 kB     00:00    
Centos_samba_build                                                                                                                                                              1.2 MB/s | 2.9 kB     00:00    
Package opensm-5.17.0.MLNX20231105.d437ae0a-0.1.2310055.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!# systemctl restart opensm.service
Failed to restart opensm.service: Unit opensm.service not found.# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
[warn] mst_pciconf is already loaded, skipping
Create devices
Unloading MST PCI module (unused) - Successmt4123_pciconf0    mt4123_pciconf0.1  
# mlxconfig -d /dev/mst/mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 FPP_EN=1Device #1:
----------Device type:        ConnectX6           
Name:               SC57A40944_Ax       
Description:        ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port VPI Adapter
Device:             /dev/mst/mt4123_pciconf0Configurations:                                          Next Boot       New
-E- The Device doesn't support FPP_EN parameter# mlxconfig -d /dev/mst/mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 FPP_EN=1Device #1:
----------Device type:        ConnectX6           
Name:               SC57A40944_Ax       
Description:        ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port VPI Adapter
Device:             /dev/mst/mt4123_pciconf0Configurations:                                          Next Boot       New
-E- The Device doesn't support FPP_EN parameter# mlxfwreset --device /dev/mst/mt4123_pciconf0
mt4123_pciconf0    mt4123_pciconf0.1  # mlxfwreset --device /dev/mst/mt4123_pciconf0 resetMinimal reset level for device, /dev/mst/mt4123_pciconf0:3: Driver restart and PCI reset
Continue with reset?[y/N] y
-I- Sending Reset Command To Fw             -Done
-I- Resetting PCI                           -Done
-I- Restarting MST                          -Done
-I- FW was loaded successfully.# ibdev2netdev 
-bash: /usr/bin/ibdev2netdev: No such file or directory# lspci|grep Mellanox
0000:2f:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
0000:2f:00.1 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]

继续安装OFED,但是kernel不支持,先增加kernel模块,缺少装啥即可

# yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros

# bash mlnx_add_kernel_support.sh -m ./
Note: This program will create MLNX_OFED_LINUX TGZ for rhel8.1 under /tmp directory.
Do you want to continue?[y/N]:y
See log file /tmp/mlnx_iso.20469_logs/mlnx_ofed_iso.20469.logChecking if all needed packages are installed...
/lib/modules/4.18.0-305.19.1.el8_4.x86_64/build//scripts is required to build mlnx-ofa_kernel-modules RPM.
Please install the corresponding kernel-devel RPM.Error: One or more required packages for installing OFED-internal are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros

再继续安装

./mlnxofedinstall --add-kernel-support

http://www.lryc.cn/news/284416.html

相关文章:

  • 无/自监督去噪(1)——一个变迁:N2N→N2V→HQ-SSL
  • 【24.1.19】
  • 使用mamba替换conda和anaconda配置环境安装软件
  • 鸿蒙开发系列教程(四)--ArkTS语言:基础知识
  • Pix2Pix理论与实战
  • [GN] 后端接口已经写好 初次布局前端需要的操作(例)
  • AIGC:人工智能驱动的数据分析新时代
  • Windows Qt C++ VTK 借助msys环境搭建
  • 尚硅谷Nginx高级配置笔记
  • 论rtp协议的重要性
  • 【Github搭建网站】零基础零成本搭建个人Web网站~
  • unocss+iconify技术在vue项目中使用20000+的图标
  • python 自动化模块 - pyautogui初探
  • UE5 蓝图编辑美化学习
  • 基于动态顺序表实现通讯录项目
  • python使用jupyter记笔记
  • C#封装服务
  • 手写Vue3源码
  • 如何无需重复输入FTP信息来安装WordPress主题和插件
  • 开发安全之:JSON Injection
  • 各种Linux版本安装Docker
  • git中合并分支时出现了代码冲突怎么办
  • 什么是防火墙?
  • tui.calender日历创建、删除、编辑事件、自定义样式
  • OpenHarmonyOS-gn与Ninja
  • Docker部署Traefik结合内网穿透远程访问Dashboard界面
  • 2024年甘肃省职业院校技能大赛信息安全管理与评估 样题二 理论题
  • 从代码到项目管理:程序员的职业跃迁与PMP认证之路
  • 空间形状对结构加法产物的影响
  • 构建高效外卖系统:技术实践与代码示例