秒赤Haproxy配置算法

一、haproxy简单配置

haproxy软件基本信息

软件安装包： haproxy-2.4.22-3.el9_3.x86_64.rpm
启动文件： /lib/systemd/system/haproxy.service
主配置目录： /etc/haproxy/
主配置文件： /etc/haproxy/haproxy.cfg
子配置目录： /etc/haproxy/conf.d

实验环境：

三台主机关闭火墙：

两RS主机导入默认发布文件（RS2写RS2 - RS2的IP）：

开机自启服务：

测试：

二、haproxy的基本配置信息

官方文档：http://cbonte.github.io/haproxy-dconv/

HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是：

global：全局配置段
进程及安全配置相关的参数
性能调整相关参数
Debug参数
proxies：代理配置段
defaults：为frontend, backend, listen提供默认配置
frontend：前端，相当于nginx中的server {}
backend：后端，相当于nginx中的upstream {}
listen：同时拥有前端和后端配置,配置简单,生产推荐使用

1.global配置

global 配置参数说明

多进程

多进程和socket文件配置如下：

查看多进程信息：

多线程

多线程对比：

开启后：

2.proxies配置

proxies参数说明

Proxies配置-defaults

Proxies配置-frontend

bind：指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字
段中
#格式：
bind [<address>]:<port_range> [, ...] [param*]
#注意：如果需要绑定在非本机的IP，需要开启内核参数：net.ipv4.ip_nonlocal_bind=1
backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注意：不
支持backend

frontend 配置示例：

Proxies配置-backend

定义一组后端服务器，backend服务器将被frontend进行调用

注意: backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法 启动

mode http|tcp #指定负载协议类型,和对应的frontend必须一致
option #配置选项
server #定义后端real server,必须指定IP和端口

注意：option后面加 httpchk，smtpchk,mysql-check,pgsql-check，ssl-hello-chk方法，可用于实现更 多应用层检测功能。

代码示例：

测试：

Proxies配置-listen 简化配置

使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

listen配置示例：

测试：

设置错误页面：

编辑默认发布文件：

在RS1和RS2停止服务：

测试：

设置页面跳转：

测试：

3.socat 工具

对服务器动态权重和其它状态可以利用 socat工具进行调整，Socat 是 Linux 下的一个多功能的网络工 具，名字来由是Socket CAT，相当于netCAT的增强版.Socat 的主要特点就是在两个数据流之间建立双向 通道，且支持众多协议和链接方式。如 IP、TCP、 UDP、IPv6、Socket文件等

修改配置文件：

常用示例：

查看haproxy状态：

查看集群状态：

查看集群权重：

设置权重：

下线后端服务器：

上线后端服务器：

三、haproxy的算法

HAProxy通过固定参数 balance 指明对后端服务器的调度算法

balance参数可以配置在listen或backend选项中。

HAProxy的调度算法分为静态和动态调度算法

有些算法可以根据参数在静态和动态算法中相互转换。

1.静态算法

静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重(只能为0和1,不支持其它值)，只能靠重启HAProxy生效。

static-rr：基于权重的轮询调度

不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值)

不支持端服务器慢启动（在服务器刚刚启动上不会把他所应该承担的访问压力全部给它，而是先给一部分，当没问题后在给一部分）

其后端主机数量没有限制，相当于LVS中的 wrr

测试：

first

根据服务器在列表中的位置，自上而下进行调度

其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务

其会忽略服务器的权重设置

不支持用socat进行动态修改权重,可以设置0和1,可以设置其它值但无效

测试：

2.动态算法

基于后端服务器状态进行调度适当调整

权重可以在haproxy运行时动态调整无需重启

roundrobin

1. 基于权重的轮询动态调度算法

2. 支持权重的运行时调整，不同于lvs中的rr轮训模式

3. HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)

4. 其每个后端backend中最多支持4095个real server

5. 支持对real server权重动态调整

6. roundrobin为默认调度算法,此算法使用广泛

7.新请求将优先调度至当前负载较低的服务器

测试：

leastconn

leastconn加权的最少连接的动态

支持权重的运行时调整和慢启动，即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)

比较适合长连接的场景使用，比如：MySQL等场景。

3.其他算法

其它算法即可作为静态算法，又可以通过选项成为动态算法

①source

源地址hash，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type支持的选项更改这个算法一般是在不插入Cookie的TCP 模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用于session会话保持但不支持 cookie和缓存的场景 源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash

map-base 取模法

map-based：取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请 求转发至对应的后端服务器

此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度

缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果 整体改变

hash-type 指定的默值为此算法

👾所谓取模运算，就是计算两个数相除之后的余数，10%7=3, 7%4=3

map-based算法：基于权重取模，hash(source_ip)%所有后端服务器相加的总权重

问题所在：

比如当源hash值时1111，1112，1113，三台服务器a b c的权重均为1，
即abc的调度标签分别会被设定为 0 1 2（1111%3=1，1112%3=2，1113%3=0）
1111 ----- > nodeb
1112 ------> nodec
1113 ------> nodea
如果a下线后，权重数量发生变化
1111%2=1，1112%2=0，1113%2=1
1112和1113被调度到的主机都发生变化，这样会导致会话丢失

取模法配置示例：

不支持动态调整权重值：

只能动态上线和下线：

一致性hash

一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动hash（o） mod n

该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动

算法：

1、后端服务器哈希环点keyA=hash(后端服务器虚拟ip)%(2^32)
2、客户机哈希环点key1=hash(client_ip)%(2^32) 得到的值在[0---4294967295]之间，
3、将keyA和key1都放在hash环上，将用户请求调度到离key1最近的keyA对应的后端服务器

hash环偏斜问题

增加虚拟服务器IP数量，比如：一个后端服务器根据权重为1生成1000个虚拟IP，再hash。而后端服务器权
重为2则生成2000的虚拟IP，再bash,最终在hash环上生成3000个节点，从而解决hash环偏斜问题

一致性hash配置示例：

②uri

基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后

根据最终结果将请求转发到后端指定服务器

适用于后端是缓存服务器场景

默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash

👹注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分：/<path>;<params>
整个uri：/<path>;<params>?<query>#<frag>

uri 取模法配置示例：

uri 一致性hash配置示例：

访问测试：

访问不同的uri，确认可以将用户同样的请求转发至相同的服务器（相同地址不同的path访问的服务器不一样）

③url_param

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器，后端搜索同一个数据会被调度到同一个服务器，多用于电商通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server

如果无没key，将按roundrobin算法

#假设：
url = http://www.timinglee.com/foo/bar/index.php?key=value
#则：
host = "www.timinglee.com"
url_param = "key=value"

url_param取模法配置示例：

url_param一致性hash配置示例：

测试访问：

④hdr

针对用户每个http头部(header)请求中的指定信息做hash， 此处由 name 指定的http首部将会被取出并做hash计算， 然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。

hdr取模法配置示例：

hdr一致性hash配置示例：

测试访问：

算法总结

#静态
static-rr--------->tcp/http
first------------->tcp/http
#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
uri--------------->http
url_param--------->http
hdr--------------->http

四、高级功能及配置

1.基于cookie的会话保持

cookie value：为当前server指定cookie值，实现基于cookie的会话黏性，相对于基于 source 地址hash 调度算法对客户端的粒度更精准，但同时也加大了haproxy负载，目前此模式使用较少， 已经被session 共享服务器代替

注意：不支持 tcp mode，使用 http mode

配置选项

cookie name [ rewrite | insert | prefix ][ indirect ] [ nocache ][ postonly ] [
preserve ][ httponly ] [ secure ][ domain ]* [ maxidle <idle> ][ maxlife ]
name： #cookie 的 key名称，用于实现持久连接
insert： #插入新的cookie,默认不插入cookie
indirect： #如果客户端已经有cookie,则不会再发送cookie信息
nocache： #当client和hapoxy之间有缓存服务器（如：CDN）时，不允许中间缓存器缓存cookie，
#因为这会导致很多经过同一个CDN的请求都发送到同一台后端服务器

配置示例

验证cookie信息：

通过命令行验证：

2.HAProxy状态页

通过web界面，显示当前HAProxy的运行状态

状态页配置项

stats enable #基于默认的参数启用stats page
stats hide-version #将状态页中haproxy版本隐藏
stats refresh <delay> #设定自动刷新时间间隔，默认不自动刷新
stats uri <prefix> #自定义stats page uri，默认值：/haproxy?stats
stats auth <user>:<passwd> #认证时的账号和密码，可定义多个用户,每行指定一个用户
#默认：no authentication
stats admin { if | unless } <cond> #启用stats page中的管理功能

启用状态页

测试：

五、IP透传

web服务器中需要记录客户端的真实IP地址，用于做访问统计、安全防护、行为分析、区域排行等场景

1.四层IP透传

两RS主机上配置nginx：

测试：

2.七层IP透传

当haproxy工作在七层的时候，也可以透传客户端真实IP至后端服务器

在由haproxy发往后端主机的请求报文中添加“X-Forwarded-For"首部，其值为前端客户端的地址；用于 向后端主发送真实的客户端IP

六、ACL

访问控制列表ACL，Access Control Lists），是一种基于包过滤的访问控制技术

它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过 滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内 容进行匹配并执行进一步操作，比如允许其通过或丢弃

ACL配置

用acl来定义或声明一个acl

acl <aclname> <criterion> [flags] [operator] [<value>]
acl 名称 匹配规范 匹配模式 具体操作符 操作对象类型

• ACL-Name 名称

acl     test     path_end     -m     sub     /a
#ACL名称，可以使用大字母A-Z、小写字母a-z、数字0-9、冒号：、点.、中横线和下划线，并且严格区分大
小写，比如:my_acl和My_Acl就是两个完全不同的acl5.8.1.2 ACL-criterion

• ACL-criterion 匹配规范

定义ACL匹配规范，即：判断条件

hdr string，提取在一个HTTP请求报文的首部
hdr（[<name> [，<occ>]]）：完全匹配字符串,header的指定信息，<occ> 表示在多值中使用的值的出
现次数
hdr_beg（[<name> [，<occ>]]）：前缀匹配，header中指定匹配内容的begin
hdr_end（[<name> [，<occ>]]）：后缀匹配，header中指定匹配内容end
hdr_dom（[<name> [，<occ>]]）：域匹配，header中的dom（host）
hdr_dir（[<name> [，<occ>]]）：路径匹配，header的uri路径
hdr_len（[<name> [，<occ>]]）：长度匹配，header的长度匹配
hdr_reg（[<name> [，<occ>]]）：正则表达式匹配，自定义表达式(regex)模糊匹配
hdr_sub（[<name> [，<occ>]]）：子串匹配，header中的uri模糊匹配 模糊匹配c 报文中a/b/c也会匹配

• ACL-flags 匹配模式

-i 不区分大小写
-m 使用指定的正则表达式匹配方法
-n 不做DNS解析
-u 禁止acl重名，否则多个同名ACL匹配或关系

• ACL-operator 具体操作符

整数比较：eq、ge、gt、le、lt
字符比较：
- exact match (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式，如果其中任何一个被发现，ACL将匹配
- prefix match (-m beg) :在提取的字符串首部中查找模式，如果其中任何一个被发现，ACL将匹配
- suffix match (-m end) :将模式与提取字符串的尾部进行比较，如果其中任何一个匹配，则ACL进行
匹配
- subdir match (-m dir) :查看提取出来的用斜线分隔（“/"）的字符串，如其中任一个匹配，则ACL
进行匹配
- domain match (-m dom) :查找提取的用点（“."）分隔字符串，如果其中任何一个匹配，则ACL进行
匹配

• ACL-value 操作对象

value的类型

The ACL engine can match these types against patterns of the following types :
- Boolean #布尔值
- integer or integer range #整数或整数范围，比如用于匹配端口范围
- IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24
- string--> www.timinglee.org
exact #精确比较
substring #子串
suffix #后缀比较
prefix #前缀比较
subdir #路径， /wp-includes/js/jquery/jquery.js
domain #域名，www.timinglee.org
- regular expression #正则表达式
- hex block #16进制

• 多个ACL的组合调用方式

多个ACL的逻辑处理：

与：隐式（默认）使用
或：使用“or" 或 “||"表示
否定：使用 "!" 表示

多个ACL调用方式：

#示例：
if valid_src valid_port #与关系，ACL中A和B都要满足为true，默认为与
if invalid_src || invalid_port #或，ACL中A或者B满足一个为true
if ! invalid_src #非，取反，不满足ACL才为true

• ACL示例-域名匹配

测试结果：

先主机中做地址解析：

• ACL示例-基于文件后缀名实现动静分离

两RS建立发布目录和文件：

测试：

• ACL-匹配访问路径实现动静分离

测试：

• ACL-拒绝指定访问字段

测试：

• ACL-拒绝指定访问IP/网段（后面/掩码长度即可）

• ACL-只允许指定访问IP/网段（后面/掩码长度即可）

测试：

七、自定义HAProxy 错误界面

对指定的报错进行重定向，进行优雅的显示错误页面

使用errorfile和errorloc指令的两种方法，可以实现自定义各种错误页面

基于自定义的错误页面文件

测试：

关闭后端的两RS主机

八、HAProxy 四层负载

针对除HTTP以外的TCP协议应用服务访问的应用场景

MySQL
Redis
Memcache
RabbitMQ

范例：对 MySQL 服务实现四层负载

haproxy主机安装mariadb：

在后端两RS服务器安装和配置mariadb服务：

rs1 ~]# vim /etc/my.cnf
[mysqld]
server-id=1 #在另一台主机为
rs2 ~]# vim /etc/my.cnf
[mysqld]
server-id=2 #在另一台主机为
rs1 ~]# systemctl start mariadb
rs2 ~]# systemctl start mariadb
rs1 ~]# mysql -e "grant all on *.* to zk@'%' identified by 'zk';"
rs2 ~]# mysql -e "grant all on *.* to zk@'%' identified by 'zk';"

测试：

九、HAProxy https

haproxy可以实现https的证书安全,从用户到haproxy为https,从haproxy到后端服务器用http通信但基于性能考虑,生产中证书都是在后端服务器比如nginx上实现

证书制作：

openssl req -newkey rsa:2048 -nodes -sha256 -keyout /etc/haproxy/certs/timinglee.org.key -x509 -days 365 -out /etc/haproxy/certs/timinglee.org.crt

↓

编辑haproxy配置文件：

👆redirect scheme https if !{ ssl_fc }意思是如果当前连接是 HTTP（非 HTTPS），则将其重定向到 HTTPS 协议

测试：