Keepalive+LVS群集部署

一、Keepalive概述

keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，keepalived 除了能够管理 LVS集群外，还可以为其他服务（例如：Nginx、Haproxy、MySQL等）实现高可用。

keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由单点故障的问题，它能够保证当个别节点宕机时，整个网络可以不间断地运行。

所以，keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用。

1、什么是Keepalive

Keepalived是一款专为LVS和HA设计的一款健康检查工具：支持故障自动切换、支持节点健康状态检查。

VRRP工作方式：抢占式、非抢占式、延迟抢占式模式。

2、Keepalive工作原理

Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

在Keepalived服务之间，只有作为主的服务器会一直发送VRRP广播包，告诉备它还活着，此时备不会抢占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性。接管速度最快可以小于1秒。

3、Keepalive主要模块及作用

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

（1）core模块:为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

（2）vrrp模块:是来实现VRRP协议的。

（3）check模块:负责健康检查，常见的方式有端口检查及URL检查。

4、Keepalived 服务重要功能

（1）管理 LVS 负载均衡软件

Keepalived可以通过读取自身的配置文件，实现通过更底层的接口直接管理LVS的配置以及控制服务的启动，停止功能。

（2）支持故障自动切换

Keepalived可以实现任意两台主机之间，例如Master和Backup主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是LVS负载均衡，Nginx反向代理这样的服务器。

Keepalived高可用功能实现的简单原理为，两台主机同时安装好Keepalived软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。

（3）实现 LVS 负载调度器、节点服务器的高可用性（HA）

一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。

5、Keepalived 高可用故障切换转移原理

Keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。

在 Keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。

二、Keepalive脑裂及解决方法

1、Keepalive脑裂

主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。

主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致。

2、脑裂原因

• 高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）
• 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
• 因心跳线间连接的设备故障（网卡及交换机）
• 因仲裁的机器出问题（采用仲裁的方案）
• 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输
• Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
• vrrp实例名字不一致、优先级一致。

3、应对策略

• 主备调度器多连一条线，即使交换机挂了，这两个还可以通信。

• 通过第三方监控软件，当发现两台调度器同时工作，则杀掉主调度器。

• 自己写一个脚本，例如crontab和while死循环执行，当监控到备调度器工作了，就杀掉主调度器的keepalived服务。

三、部署Keepalive+LVS群集

环境准备：

主keepalived：192.168.10.130 lvs

备keepalived：192.168.10.132 lvs

web1：192.168.10.133

web2：192.168.10.134

vip：192.168.10.200

客户机访问：192.168.10.135

实验图示：

1、配置主负载调度器（主：192.168.10.130）

（1）关闭防火墙和核心防护

[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#systemctl stop firewalld

（2）安装ipvsadm和keepalived

[root@zhuServer ~]#yum install ipvsadm keepalived.x86_64  -y

（3）添加模块查看

[root@zhuServer ~]#modprobe ip_vs   #加载ip_vs模块
[root@zhuServer ~]#cat /proc/net/ip_vs   #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn

（4）调整 proc 响应参数，关闭Linux 内核的重定向参数响应

[root@zhuServer ~]#vim /etc/sysctl.conf   #修改Linux内核参数
[root@zhuServer ~]#sysctl -p    #加载内核配置参数
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

（5）修改配置文件Keeplived.conf

#修改配置文件keeplived.conf
[root@zhuServer ~]#cd /etc/keepalived/
[root@zhuServer keepalived]#cp keepalived.conf keepalived.conf.bak[root@zhuServer keepalived]vim keepalived.conf
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接#vrrp_strict
}vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUPstate MASTER
--21行--修改，指定承载vip地址的物理接口interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	virtual_router_id 10#nopreempt		#如果设置非抢占模式，两个节点state必须为bakcup，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90priority 100advert_int 1					#通告间隔秒数(心跳频率)authentication {				#定义认证信息,每个热备组保持一致auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致auth_pass 123456}virtual_ipaddress {				#指定群集vip地址192.168.10.200}
}--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.10.200 80 {delay_loop 6					#健康检查的间隔时间(秒)lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)lb_kind DRpersistence_timeout 0			#连接保持时间(秒)  修改为0以便查看效果protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口real_server 192.168.10.133 80 {weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		TCP_CHECK {connect_port 80			#添加检查的目标端口connect_timeout 3		#添加连接超时(秒)nb_get_retry 3			#添加重试次数delay_before_retry 3	#添加重试间隔}}real_server 192.168.10.134 80 {		#添加第二个 Web节点的地址、端口weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
##删除后面多余的配置##
}

[root@zhuServer ~]#ipvsadm-save > /etc/sysconfig/ipvsadm
[root@zhuServer ~]#systemctl start ipvsadm
[root@zhuServer ~]#ipvsadm   #启动策略
[root@zhu keepalived]#systemctl restart keepalived.service  #重启keepalive服务

2、配置负载调度器（备：192.168.10.132）

（1）关闭防火墙核心防护、安装ipvsadm keepalive服务

[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# yum install ipvsadm keepalived.x86_64 -y

（2）远程拷贝

主、备配置文件配置基本一样，方便起见，直接把主负载调度器的配置文件拷贝到备负载调度器

[root@zhuServer ~]#cd /etc/keepalived/
[root@zhuServer keepalived]#scp keepalived.conf root@192.168.10.132:/etc/keepalived/

（3）修改keepalive.conf配置文件

（4）调整proc响应参数，关闭Linux内核的重定向参数响应

[root@beiServer keepalived]# vim /etc/sysctl.conf
[root@beiServer keepalived]# sysctl  -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

（5）添加模块查看

[root@beiServer keepalived]# modprobe ip_vs
[root@beiServer keepalived]# cat /proc/net/ip_vs

[root@beiServer network-scripts]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@beiServer network-scripts]# systemctl start ipvsadm
[root@beiServer network-scripts]# ipvsadm  #启用策略
[root@beiServer network-scripts]# ipvsadm -ln   
[root@beiServer network-scripts]# systemctl restart keepalived   #重启keepalive服务

3、配置节点服务器

web1：192.168.10.133

web2：192.168.10.134

（1）关闭防火墙 核心防护

[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#

（2）安装并开启httpd服务

两台节点服务器都需要安装httpd

[root@Web1 ~]#yum install httpd -y
[root@Web1 ~]#systemctl start httpd

（3）配置站点文件

[root@Web1 ~]#cd /var/www/html/
[root@Web1 html]#echo "zzt is boy" > index.html
[root@Web1 html]#vim /etc/httpd/conf/httpd.conf  #关闭长连接

[root@Web2 ~]#cd /var/www/html/
[root@Web2 html]#echo "zhantai is boy" > index.html
[root@Web2 html]#cat index.html
zhantai is boy
[root@Web2 html]#vim /etc/httpd/conf/httpd.conf  关闭长连接

（4）配置虚拟vip

[root@Web1 ~]#ifconfig lo:0 192.168.10.200 netmask 255.255.255.255  #配置虚拟ip
[root@Web1 ~]#route add -host 192.168.10.200 dev lo:0    #添加路由

[root@Web2 ~]#ifconfig lo:0 192.168.10.200 netmask 255.255.255.255    #配置虚拟ip
[root@Web2 ~]#route add -host 192.168.10.200 dev lo:0     #添加路由

（5）调整proc响应参数

[root@Web1 network-scripts]#vim /etc/sysctl.conf
[root@Web1 network-scripts]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

[root@Web2 network-scripts]#vim /etc/sysctl.conf
[root@Web2 html]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

4、客户端验证

5、断开主DR服务器的keepalived测试

[root@zhuServer keepalived]#systemctl stop keepalived
[root@zhuServer keepalived]#ip addr

总结

Keepalived通过什么判断哪台主机为主服务器，通过什么方式配置浮动IP？

Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。

然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。

优先级高的服务器会通过ip命令，为自己配置一个提前定义好的浮动IP地址。

keepalived的抢占与非抢占模式：

抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后，不抢占BACKUP升级为MASTER后的VIP。

非抢占式俩节点的state必须都设置为bakcup，且必须配置nopreempt。

注意： 这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。