KVM+GFS分布式存储系统构建高可用
一：部署GFS高可用分布式存储环境
1：安装部署 KVM 虚拟化平台
2：部署 GlusterFS
在所有节点上执行如下命令：
（1）关闭防所有节点的防火墙、SELiunx
systemctl stop firewalldsystemctl disable firewalldsetenforce 0（2）编写 hosts 文件
[root@node1 ~]# cat<<EOF> /etc/hosts192.168.10.101 node1192.168.10.102 node2192.168.10.103 node3192.168.10.104 node4192.168.10.201 kvm01192.168.10.202 kvm02EOF（3）安装软件
注意：先设置阿里yum仓库
[root@node1 ~]# yum -y install centos-release-gluster
[root@node1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma（4）启动 GlusterFS
在所有节点Gluster执行以下操作
[root@node1 ~]# systemctl start glusterd.service && systemctl enable glusterd.service（5）在 node1 上添加所有节点
[root@node1 ~]# gluster peer probe node2peer probe: success.[root@node1 ~]# gluster peer probe node3peer probe: success.[root@node1 ~]# gluster peer probe node4peer probe: success.（6）查看集群状态
[root@node1 ~]# gluster peer status3：创建 GlusterFS 分布式复制卷
在所有节点创建/data
[root@node1 ~]# mkdir /data创建分布式复制卷。
[root@node1 ~]# gluster volume create models replica 2 node1:/data node2:/data node3:/data node4:/data force
查看 models 卷
[root@node1 ~]# gluster volume info models
启动 models 卷
[root@node1 ~]# gluster volume start models为KVM主机部署GFS存储
KVM挂载 glusterfs 卷(所有kvm主机上都配置)
安装 glusterfs 客户端软件。
[root@kvm01 ~]# yum -y install glusterfs glusterfs-fuse
创建挂载目录，并挂载 models 卷。
[root@kvm01 ~]# mkdir /kvmdata
[root@kvm01 ~]# mount -t glusterfs node1:models /kvmdata/
[root@localhost ~]# vi /etc/fstab
node1:models /kvmdata glusterfs defaults,_netdev 0 0
查看挂载卷。
[root@kvm01 ~]# df -h在kvm01上安装虚拟机
（1）拷贝qcow2磁盘文件
[root@kvm01 ~]# cp CentOS-7-x86_64-GenericCloud-2009.qcow2 /kvmdata/test01.qcow2
（2）部署虚拟机
[root@kvm01 ~]# yum -y install libguestfs-tools
[root@kvm01 ~]# gpasswd -a qemu root
备注：
该工具提供了virt的高级命令，其中有一个virt-customize命令，可以为系统镜像设置密码。
[root@kvm01 ~]# virt-customize -a /kvmdata/test01.qcow2 --root-password password:aptech
[root@kvm01 ~]# virt-install --name=test01 -r 1024 --vcpus=1 --disk device=disk,bus=virtio,path='/kvmdata/test01.qcow2',size=10 -w bridge:br0 --virt-type=kvm --boot hd（3）登录测试
测试实时迁移环境
配置kvm01和kvm02的无密码登录环境
[root@kvm01 ~]# ssh-keygen -t rsa[root@kvm01 ~]# ssh-copy-id kvm02[root@kvm01 ~]# ssh-copy-id kvm01[root@kvm02 ~]# ssh-keygen -t rsa[root@kvm02 ~]# ssh-copy-id kvm01[root@kvm02 ~]# ssh-copy-id kvm02将test01虚拟机从kvm01主机迁移到kvm02主机
[root@kvm01 ~]# virsh migrate --persistent --undefinesource test01 qemu+ssh://kvm02/system[root@kvm01 ~]# virsh list --all查看kvm02主机上的虚拟机状态
[root@kvm01 ~]# virsh --connect=qemu+ssh://kvm02/system list将test01从kvm02主机迁移到kvm01主机
[root@kvm01 ~]# virsh --connect=qemu+ssh://kvm02/system migrate --persistent --undefinesource test01 qemu+ssh://kvm01/system创建虚拟机资源
为配置文件创建共享目录
[root@kvm01 ~]# mkdir /kvmdata/config将test01的配置文件拷贝到共享目录
[root@kvm01 ~]# cp /etc/libvirt/qemu/test01.xml /kvmdata/config/取消定义test01虚拟机
[root@kvm01 ~]# virsh shutdown test01[root@kvm01 ~]# virsh undefine test01[root@kvm01 ~]# virsh list --all重新定义test01虚拟机
[root@kvm02 ~]# virsh define /kvmdata/config/test01.xml
[root@kvm01 ~]# virsh start test01
域 test01 已开始
[root@kvm01 ~]# virsh list --all部署群集
群集组件的安装（kvm01和kvm02都安装）
设置好阿里的基础源和epel扩展源
[root@kvm01 ~]# yum -y install pcs pacemaker fence-agents-all
[root@kvm01 ~]# passwd hacluster
[root@kvm01 ~]# systemctl start pcsd
[root@kvm01 ~]# systemctl enable pcsd认证组成群集的节点（只在kvm01上操作）
[root@kvm01 ~]# pcs cluster auth kvm01 kvm02 -u hacluster -p aptech自动生成配置文件（只在kvm01上操作）
[root@kvm01 ~]# pcs cluster setup --name cluster-kvm kvm01 kvm02启动群集（只在kvm01上操作）
[root@kvm01 ~]# pcs cluster start --all
[root@kvm01 ~]# pcs cluster enable --all在任意一个kvm主机上查看pcs群集状态
[root@kvm01 ~]# pcs status将其中一个节点关闭，查看群集状态
[root@kvm01 ~]# pcs cluster stop kvm01在另一个节点查看状态
[root@kvm02 ~]# pcs status
Online: [ kvm02 ]
OFFLINE: [ kvm01 ]7：查看后再开启，让群集正常运行
[root@kvm01 ~]# pcs cluster start kvm01关闭隔离设备的功能（每个设备都执行）
pcs property set stonith-enabled=false向群集中添加资源
[root@kvm01 ~]# pcs resource create test01 VirtualDomain hypervisor="qemu:///system" config="/kvmdata/config/test01.xml" migration_transport=ssh meta allow-migrate="true"查看当前群集状态
[root@kvm01 ~]# pcs statusKVM群集验证
在两台kvm主机上分别查看虚拟机状态
kvm01的状态
kvm02的状态
注意：此时虚拟机在kvm01
删除资源test01的约束
清除某个 pcs 资源只能在某个主机上运行的限制
[root@kvm01 ~]# pcs resource clear test01[root@kvm01 ~]# pcs constraint ##查询限制情况，如下显示结果为无限制Location Constraints:Ordering Constraints:Colocation Constraints:Ticket Constraints:当把虚拟机迁移到了另一台主机，会出现约束，要想将虚拟机迁移回来，需要先清除约束
手动迁移
[root@kvm01 ~]# pcs resource move test01kvm01上查看状态
[root@kvm01 ~]# virsh list --all[root@kvm01 ~]# pcs statuskvm02上查看状态
[root@kvm02 ~]# virsh list --all备注：
迁移后，test01运行在kvm02上
将kvm02挂起，模拟故障
如果kvm01上对test01有约束，需要在kvm01上清除约束，才能将test01迁移回来
pcs resource clear test01
查看kvm01中的状态
[root@kvm01 ~]# pcs status
[root@kvm01 ~]# virsh list --all