最新最全的~教你如何搭建高可用Lustre双机集群
1.搭建双机lustre高可用集群：
1.环境说明：
| 主机名 | 系统 | 挂载情况 | IP地址 | Lustre集群名 | 内存 |
|---|---|---|---|---|---|
| mds001 | Centos7.9 | （共享磁盘）1个mgs，1个MDT，2个OST | 192.168.10.21/209.21 | global | 1G |
| mds002 | Centos7.9 | （共享磁盘）1个mgs，1个MDT，2个OST | 192.168.10.22/209.22 | global | 1G |
| client | Centos7.9 | 无 | 192.168.10.41 | 无 | 1G |
mds01，mds02作为mds的同时 也做oss，做5个共享盘：1个mgs，2个mdt，2个ost，搭建一套高可用的lustre服务集群
2.两个虚拟机使用共享磁盘：
-
前提：两台虚拟机没有拍摄快照
-
在mds001主机中：
-
添加五块5G的硬盘
SCSI > 创建新虚拟磁盘 > 指定磁盘容量 ，立即分配所有磁盘空间，将虚拟磁盘存储为单个文件
-
-
在mds001和mds002的虚拟机目录下，找个后缀名为vmx的文件，在文件末尾添加一下内容：
scsi1.sharedBus = "virtual" disk.locking = "false" diskLib.dataCacheMaxSize = "0" diskLib.dataCacheMaxReadAheadSize = "0" diskLib.dataCacheMinReadAheadSize = "0" diskLib.dataCachePageSize = "4096" diskLib.maxUnsyncedWrites = "0" disk.EnableUUID = "TRUE" -
重启两台虚拟机发现，添加成功
[root@mds001 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 20G 0 disk ├─sda1 8:1 0 1G 0 part /boot └─sda2 8:2 0 19G 0 part ├─centos-root 253:0 0 17G 0 lvm /└─centos-swap 253:1 0 2G 0 lvm [SWAP] sdb 8:16 0 5G 0 disk sdc 8:32 0 5G 0 disk sdd 8:48 0 5G 0 disk sde 8:64 0 5G 0 disk sdf 8:80 0 5G 0 disk sr0 11:0 1 9.5G 0 rom /mnt/cdrom
3.安装和配置Lustre：
-
两台主机都需要下载OSS服务器所需要的包：E2fsprogs包只是在Ext4的原版RPM包基础上增加了对Lustre⽀持
mkdir ~/e2fsprogs && cd ~/e2fsprogs wget -c -r -nd https://downloads.whamcloud.com/public/e2fsprogs/1.44.5.wc1/el7/RPMS/x86_64/ rm -rf index.html* unknown.gif *.gif sha256sum -
全部rpm安装：
[root@mds001 e2fsprogs]# cd ~/e2fsprogs && rpm -Uvh * 准备中... ################################# [100%] 正在升级/安装... 1:libcom_err-1.42.12.wc1-4.el7.cent################################# [ 8%] 2:e2fsprogs-libs-1.42.12.wc1-4.el7.################################# [ 15%] 3:libcom_err-devel-1.42.12.wc1-4.el################################# [ 23%] 4:libss-1.42.12.wc1-4.el7.centos ################################# [ 31%] 5:e2fsprogs-1.42.12.wc1-4.el7.cento################################# [ 38%] 6:libss-devel-1.42.12.wc1-4.el7.cen################################# [ 46%] 7:e2fsprogs-devel-1.42.12.wc1-4.el7################################# [ 54%] 8:e2fsprogs-static-1.42.12.wc1-4.el################################# [ 62%] 9:e2fsprogs-debuginfo-1.42.12.wc1-4################################# [ 69%] 正在清理/删除... 10:e2fsprogs-1.42.9-19.el7 ################################# [ 77%] 11:e2fsprogs-libs-1.42.9-19.el7 ################################# [ 85%] 12:libss-1.42.9-19.el7 ################################# [ 92%] 13:libcom_err-1.42.9-19.el7 ################################# [100%] -
两台主机都需要下载MDS服务器所需要的包：
wget命令参数 说明 -c 断点续传 -r 递归下载 -nd 不分层，所有文件下载到当前目录下 rpm包 说明 kernel-*.el7_lustre.x86_64.rpm 带 Lustre 补丁的 Linux 内核 kmod-lustre-*.el7.x86_64.rpm Lustre 补丁内核模块 kmod-lustre-osd-ldiskfs-*.el7.x86_64.rpm 基于 ldiskfs 的 Lustre 后端文件系统工具 lustre-*.el7.x86_64.rpm Lustre 软件命令行工具 lustre-osd-ldiskfs-mount-*.el7.x86_64.rpm 基于ldiskfs 的 mount.lustre和mkfs。lustre相关帮助文档 mkdir ~/lustre2.12.1 && cd ~/lustre2.12.1 yum install -y wget wget \ https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kernel-3.10.0-957.10.1.el7_lustre.x86_64.rpm \ https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kmod-lustre-2.12.1-1.el7.x86_64.rpm \ https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kmod-lustre-osd-ldiskfs-2.12.1-1.el7.x86_64.rpm \ https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/lustre-2.12.1-1.el7.x86_64.rpm \ https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/lustre-osd-ldiskfs-mount-2.12.1-1.el7.x86_64.rpm -
安装依赖（否则报错error: Failed dependencies:）：
yum clean all && yum repolist yum install -y linux-firmware dracut selinux-policy-targeted kexec-tools libyaml perl -
全部rpm安装：(如果无法安装就强行安装)
cd ~/lustre2.12.1 && rpm -ivh *.rpm --force -
重启服务器：
init 6 -
检查内核：
[root@master ~]# uname -r 3.10.0-957.el7_lustre.x86_64 -
加载Lustre模块（此为临时加载，重启失效）：
[root@master ~]# modprobe lustre && lsmod | grep lustre lustre 758679 0 lmv 177987 1 lustre mdc 232938 1 lustre lov 314581 1 lustre ptlrpc 2264705 7 fid,fld,lmv,mdc,lov,osc,lustre obdclass 1962422 8 fid,fld,lmv,mdc,lov,osc,lustre,ptlrpc lnet 595941 6 lmv,osc,lustre,obdclass,ptlrpc,ksocklnd libcfs 421295 11 fid,fld,lmv,mdc,lov,osc,lnet,lustre,obdclass,ptlrpc,ksocklnd -
查看lustre版本：
[root@mds001 ~]# modinfo lustre filename: /lib/modules/3.10.0-957.10.1.el7_lustre.x86_64/extra/lustre/fs/lustre.ko license: GPL version: 2.12.1 description: Lustre Client File System author: OpenSFS, Inc. <http://www.lustre.org/> retpoline: Y rhelversion: 7.6 srcversion: E50D950B04B4044ABCBCFA3 depends: obdclass,ptlrpc,libcfs,lnet,lmv,mdc,lov vermagic: 3.10.0-957.10.1.el7_lustre.x86_64 SMP mod_unload modversions -
只有在某个节点挂载上了，才表明MGS，MDT或者是OST被创建了
-
五个硬盘都在mds001服务器上格式化，因为是共享硬盘，所以在mds002服务器上可以查看到格式化类型：
格式化参数 说明 --fsname 设置Lustre集群的名称，Lustre文件系统的标识，必须唯一 --servicenode mgs节点的IP地址，Lnet网络 --mgsnode mgs节点的IP地址，Lnet网络 --mgs 将分区格式化为MGS，MGS（ManaGe Server）是⽤来记录整个Lustre状态的服务 --mdt 将分区格式化为MDT，MDT（MetaData Target）是存放Lustre元数据服务的设备 --ost 将分区格式化为OST，OST（Object Storage Target）则是存储Lustre数据的设备 --index 设置设备的在lustre集群中的标签值，如：--mdt --index=1，LABEL="global-MDT0001"，在同集群具有唯一性 --reformat 跳过检查，防止格式化操作清除已有的数据 --replace 替换 # 关于MDT和OST，--index的值要从0开始ÿ