LVS 负载均衡群集

案例分析

案例概述

Haproxy 是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如 LVS 和 Nginx。相比较而言，LVS 性能最好，但是搭建相对复杂;Nginx的upstream 模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有 Haproxy 好。Haproxy 官方网站是 http://www.haproxy.org/

案例前置知识点

HTTP请求

通过 URL 访问网站使用的协议是 HTTP 协议，此类请求一般称为 HTTP 请HTTP请求的方式分为GET方式和POST 方式。当使用浏览器访问某一个求。URL,会根据请求 URL 返回状态码,通常正常的状态码为 2xx、3xx(如 200、301)，如果出现异常会返回 4xx、5xx(如 400、500)

例如，访问 http://www.test.com/a.php?Id=123，就是一个 GET 请求，如果访问正常，会从服务器的日志中获取200状态码。假如此请求使用POST方式，那么传递给 a.php 的Id参数依旧是 123，但是浏览器的 URL 将不会显示后面的 Id=123 字样，因此表单类或者有用户名、密码等内容提交时建议使用POST 方式。不管使用哪种方式，最终a.php 获取的值是一样的

负载均衡常用调度算法

LVS、Haproxy、Nginx 最常用的调度算法有三种

(1)RR(Round Robin)。RR 算法是最简单最常用的一种算法，即轮询调度。例如，有三个节点 A、B、C，第一个用户访问会被指派到节点 A，第二个用户访问会被指派到节点B，第三个用户访问会被指派到节点C，第四个用户访问继续指派到节点 A,轮询分配访问请求实现负载均衡效果。此算法还有一种加权轮询，即根据每个节点的权重轮询分配访问请求
(2)LC(Least Connections)。LC 算法即最小连接数算法，根据后端的节点连接数大
小动态分配前端请求。例如，有三个节点A、B、C，各节点的连接数分别为A:4、B:5、C:
6，此时如果有第一个用户连接请求，会被指派到A上，连接数变为 A:5、B:5、C:6;第二个用户请求会继续分配到 A 上，连接数变为 A∶6、B∶5、C:6;再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端。由于实际情况下 A、B、C 的连接数会动态释放，很难会出现一样连接数的情况，因此此算法相比较rr 算法有很大改进，是目前用到比较多的一种算法
(3)SH(SourceHashing)。SH即基于来源访问调度算法，此算法用于一些有Session 会话记录在服务器端的场景，可以基于来源的 IP、Cookie 等做群集调度。例如，使用基于源 IP 的群集调度算法，有三个节点 A、B、C，第一个用户第一次访问被指派到了 A，第二个用户第一次访问被指派到了 B，当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到 A，第二个用户访问都会被指派到 B,实现群集的调度。此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

常见的Web 群集调度器

目前，常见的 Web 群集调度器分为软件和硬件。软件通常使用开源的LVS、Nginx，硬件一般使用比较多的是F5。也有很多人使用国内的一些产Haproxy、品，如梭子鱼、绿盟

案例环境

本案例环境

测试安装 nginx、haproxy;
Haproxy、nginx 配置

案例实施

编译安装Nginx服务器

(1)搭建 Nginx-node-1，使用 nginx-1.26.3.tar.gz 安装包进行编译安装

[root@bogon ~]# dnf -y install httpd
Last metadata expiration check: 0:21:51 ago on 年06月03日 星期二 15时33分02秒.
Dependencies resolved.

• 默认安装目录:/usr/local/nginx
• 默认日志:/usr/local/nginx/logs/
• 默认监听:80
• 默认 Web 目录:/usr/local/nginx/html
  为了方便实验，网站没有配置域名，直接使用IP地址。在客户端访问http://192.168.10.10（2/3）/test.html 测试

[root@bogon ~]# curl 192.168.10.102
text2
[root@bogon ~]# curl 192.168.10.103
text1

编译安装 Haproxy

在 Haproxy 服务器使用 dnf 安装 haproxy-2.9.5-8.oe2403sp1.x86_64

[root@bogon ~]# dnf install -y haproxy
Last metadata expiration check: 0:01:20 ago on 2025年04月22日 星期二 16时14分26秒.
Dependencies resolved.

Haproxy 服务器配置

建立 Haproxy的配置文件

[root@bogon ~]# vim /etc/haproxy/haproxy.cfg 
globallog         127.0.0.1 local2chroot      /var/lib/haproxypidfile     /var/run/haproxy.piduser        haproxygroup       haproxydaemonmaxconn     4000defaultsmode                    httplog                     globaloption                  httplogoption                  dontlognullretries                 3timeout http-request    5stimeout queue           1mtimeout connect         5stimeout client          1mtimeout server          1mtimeout http-keep-alive 5stimeout check           5smaxconn                 3000frontend mainbind *:80default_backend         http_backbackend http_backbalance     roundrobinserver  node1 127.0.0.1:5001 checkserver  node2 127.0.0.1:5002 checkserver  node3 127.0.0.1:5003 checkserver  node4 127.0.0.1:5004 check

Haproxy 配置项介绍:
Haproxy 配置文件通常分为三个部分，即 global、defaults 和 listen
global 为全局配置，defaults 为默认配置，listen 为应用组件配置
global 配置项通常有下面配置参数

global
log 127.0.0.1 loca12 //配置日志记录,1oca12 为日志设备,默认存放到系统日志
maxconn 4000   //最大连接数
user haproxy  //用户
group haproxy   //用户组

defaults 配置项配置默认参数，一般会被应用组件继承，如果在应用组件中没有特别声明，将按照默认配置参数设置

defaults
log global   //定义日志为 global 配置中的日志定义
mode http   //模式为 
httpoption httplog //采用 http 日志格式记录日志
retries 3      //检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
maxconn 3000  //最大连接数
timeout connect  5t   //连接超时时间
lmtimeout client  1m //客户端超时时间
lmtimeout server  1m  //服务器超时时间

1isten 配置项一般配置应用模块参数

listen webcluster   //定义一个 appli4-backup 的应用bind 0.0.0.0:80  //监听所有网卡的 80 端口
option httpchk GET /index.html   //通过 GET /index.html 检查服务器健康状态
balance roundrobin //负载均衡调度算法使用轮询算法
server instl 192.168.10.101:80 check inter 2000 fall3 //后端服务器1，每2秒检查一次，3次失败后下线
server inst2 192.168.10.102:80 check inter 2000 fal1 3

修改 haproxy.cfg 配置文件

listen webcluster
bind 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server instl 192.168.10.101:80 check inter 2000 fall 3
server inst2 192.168.10.102:80 check inter 2000 fall 3

测试 Web 群集

[root@bogon ~]# curl 192.168.10.102
text2
[root@bogon ~]# curl 192.168.10.103
text1

Haproxy 的日志

Haproxy 的日志默认输出到系统的 syslog 中，查看起来不是非常方便，为了更好地管理 Haproxy 的日志，在生产环境中一般单独定义出来，定义的方法如下所述

修改 haproxy 配置文件，将原有的配置更改为以下配置

globallog         /dev/log local2 info#chroot      /var/lib/haproxy

配置 Rsyslog 服务创建 rsyslog的 HAProxy 日志规则文件

[root@bogon ~]# vim /etc/rsyslog.d/lwy-haproxy.conf
local2.* /var/log/haproxy.log

创建日志文件并设置权限

[root@bogon ~]# touch /var/log/haproxy.log
[root@bogon ~]# chmod 640 /var/log/haproxy.log
[root@bogon ~]# chown root:adm /var/log/haproxy.log

重启 Rsyslog和HAProxy 服务

[root@bogon ~]# systemctl restart rsyslog
[root@bogon ~]# systemctl restart haproxy