haproxy配置详解

1、haproxy简介

核心功能： 

• 负载均衡（Load Balancing）

1. 支持四层（TCP）和七层（HTTP/HTTPS）流量分发。
2. 提供多种调度算法：轮询（roundrobin）、最少连接（leastconn）、源IP哈希（source）等。

反向代理（Reverse Proxy）

• 隐藏后端服务器细节，对外提供统一入口。
• 支持 SSL 终端（SSL Termination），卸载后端服务器加密负担。

高可用（High Availability）

• 结合 Keepalived 实现双机热备（VRRP 协议）。

流量治理

• 请求过滤、速率限制、连接控制等。

haproxy特点和优点：

• 支持原生SSL,同时支持客户端和服务器的SSL.
• 支持IPv6和UNIX套字节（sockets）
• 支持HTTP Keep-Alive
• 支持HTTP/1.1压缩，节省宽带
• 支持优化健康检测机制（SSL、scripted TCP、check agent…）
• 支持7层负载均衡。
• 可靠性和稳定性非常好。
• 并发连接 40000-50000个，单位时间处理最大请求 20000个，最大数据处理10Gbps.
• 支持8种负载均衡算法，同时支持session保持。
• 支持虚拟主机。
• 支持连接拒绝、全透明代理。
• 拥有服务器状态监控页面。
• 支持ACL（access control list）。

多层级负载均衡

二、实验

1、实验环境的搭建

准备3台主机：

主机1

主机名：haproxy

ip：172.25.254.100

主机2

主机名：RS1

ip：172.25.254.10

主机3

主机名：RS2

ip：172.25.254.20

1）软件包安装

两台RS都安装nginx：

2）关闭火墙

两台RS关闭火墙

3）两台RS设置nginx的index.html内容

设置这个是方便后续测试

4）设置开机自启动（两个都设置）

5）连通测试

haproxy主机curl一下两台RS

关闭火墙

实验环境搭建完毕\

2、haproxy的安装和frontend区

1）安装haproxy

dnf安装

发现系统自带，直接装

2）进入haproxy配置文件 （最基本的负载均衡的调整）

进入编写

进行tab键设置 

 重启服务

 结果：

将option forwardfor注释掉

结果

haproxy软件基本信息

haproxy的基本配置信息

global：全局配置段

进程及安全配置相关的参数

性能调整相关参数

Debug参数

proxies：代理配置段

defaults：为frontend, backend, listen提供默认配置

frontend：前端，相当于nginx中的server {}

backend：后端，相当于nginx中的upstream {}

listen：同时拥有前端和后端配置,配置简单,生产推荐使用

3、haproxy全局配置参数 （多进程与多线程）

解释：

nbproc 2 —— 启用多进程，2个进程
cpu-map 1 0 ——  进程和cpu核心绑定防止cpu抖动从而减少系统资源消耗，1表示指定第一个work绑定第一个核心，0表示第一个核心，核心从0开始算（类似数组下标）
cpu-map 2 1 —— 指定第二个work绑定第二个cpu核心

global
log             127.0.0.1     local2                 #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个 chroot         /var/lib/haproxy                      #锁定运行目录 
pidfile        /var/run/haproxy.pid                  #指定pid文件 
maxconn        100000                                #指定最大连接数 
user           haproxy                               #指定haproxy的运行用户 
group          haproxy                               #指定haproxy的运行组 
daemon                                               #指定haproxy以守护进程方式运行 
# turn on stats unix socket 
stats          socket /var/lib/haproxy/stats         #指定haproxy的套接字文件 
nbproc         2                                     #指定haproxy的work进程数量，默认是1个 
cpu-map        1 0                                   #指定第一个work绑定第一个cpu核心 
cpu-map        2 1                                   #指定第二个work绑定第二个cpu核心 nbthread       2                                     #指定haproxy的线程数量，默认每个进程一个线程，此参数与nbproc互斥 maxsslconn     100000                                #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下 maxconnrate    100                                   #指定每个客户端每秒建立连接的最大数量

 重启服务

查看多进程信息 

多进程与多线程互斥，只能存在一个

解释：

nbthread —— 启动多线程，线程数为2  

查看多线程

thread为2

proxies配置：

主要分为下面4个部分

defaults [<name>]           # 默认配置项，针对以下的frontend、backend和lsiten生效，可以多个name也可以没有name
frontend <name>            # 前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群

backend <name>           # 后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen <name>                # 将frontend和backend合并在一起配置，相对于frontend和backend

配置更简洁，生产常用

注意：

name字段只能使用大小写字母，数字，‘-’(dash)，'_‘(underscore)，'.' (dot)和 ':'(colon)，并且严格区分大小写。

1）proxies 配置-defaults

defaults mode    http                   #HAProxy实例使用的连接协议 log    global                  #指定日志地址和记录日志条目的 
syslog/rsyslog日志设备 #此处的 global表示使用 global配置段中设定的log值。 、option  httplog               #日志记录选项，httplog表示记录与 HTTP 会话相关的各种属性值 #包括 HTTP请求、会话状态、连接数、源地 址以及连接时间等 option dontlognull            #dontlognull表示不记录空会话连接日志 option http-server-close      #等待客户端完整HTTP请求的时间，此处为等 待10s。option forwardfor except 127.0.0.0/8 #透传客户端真实IP至后端web服务器 #在apache配置文件中加入:<br>%{X- Forwarded-For}i #后在webserver中看日志即可看到地址透传 信息 option redispatch             #当server Id对应的服务器挂掉后，强制定 向到其他健康的服务器，重新派发 option http-keep-alive        #开启与客户端的会话保持 retries 3                     #连接后端服务器失败次数timeout http-request 10s      #等待客户端请求完全被接收和处理的最长时间 timeout queue 1m              #设置删除连接和客户端收到503或服务不可用等提示信息前的等待时间 timeout connect 120s          #设置等待服务器连接成功的时间 timeout client 600s           #设置允许客户端处于非活动状态，即既不发送数据也不接收数据的时间 timeout server 600s           #设置服务器超时时间，即允许服务器处于既不接收也不发送数据的非活动时间   timeout http-keep-alive 60s   #session 会话保持超时时间，此时间段内会转发到相同的后端服务器                             timeout check 10s             #指定后端服务器健康检查的超时时间 maxconn 3000                  #承受最大连接数量default-server inter 1000 weight 3  #对后端服务器的检测为1000毫秒一次，weight 3 表示权重

2）proxies 配置-frontend和backend

    bind     *:80              # 监听端口，即 haproxy 提供web服务的端口，和 lvs 的vip端口类似 mode     http              # http的7层模式use_backend webserver      # 调用的后端为webserverbalance  roundrobin        # 轮询调用

 server 配置

#针对一个server配置

check                         #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能

                                   #默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查

addr <IP>                    #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量

port <num>                  #指定的健康状态监测端口

inter <num>                 #健康状态检查间隔时间，默认2000 ms

fall <num>                   #后端服务器从线上转为线下的检查的连续失效次数，默认为3

rise <num>                  #后端服务器从下线恢复上线的检查的连续有效次数，默认为2

weight <weight>          #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接

backup                         #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似SorryServer

disabled                      #将后端服务器标记为不可用状态，即维护状态，除了持久模式

                                   #将不再接受连接,状态为深黄色,优雅下线,不再接受新用户的请求

redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL，只适用于http模式

maxconn <maxconn> #当前后端server的最大并发连接数

3）proxies 配置-listen

4、HAProxy算法

所有算法在主配置文件配置/etc/haproxy/haproxy.cfg

vim /etc/haproxy/haproxy.cfg ---编辑配置文件

HAProxy通过固定参数 balance 指明对后端服务器的调度算法

balance参数可以配置在listen或backend选项中。

HAProxy的调度算法分为静态和动态调度算法

有些算法可以根据参数在静态和动态算法中相互转换。

静态算法

static-rr

static-rr---基于权重的轮询调度

不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值)

不支持端服务器慢启动

其后端主机数量没有限制，相当于LVS中的 wrr

statick-rr 按照预先配置的顺序和权重，将客户端请求依次分配给后端服务器。当所有服务器都被分配一次后，算法会从头开始循环

配置文件

运行

first

• 根据服务器在列表中的位置，自上而下进行调度
• 其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务
• 其会忽略服务器的权重设置
• 不支持用socat进行动态修改权重,可以设置0和1,可以设置其它值但无效

配置文件 

运行

重新配置

运行

动态算法

• 基于后端服务器状态进行调度适当调整，
• 新请求将优先调度至当前负载较低的服务器
• 权重可以在haproxy运行时动态调整无需重启

roundrobin

• 基于权重的轮询动态调度算法，
• 支持权重的运行时调整，不同于lvs中的rr轮训模式，
• HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)，
• 其每个后端backend中最多支持4095个real server，
• 支持对real server权重动态调整，
• roundrobin为默认调度算法,此算法使用广泛

配置文件 运行

leastconn

• leastconn加权的最少连接的动态
• 支持权重的运行时调整和慢启动，即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)
• 比较适合长连接的场景使用，比如：MySQL等场景。

配置文件 

运行

其他算法

这个算法用到的是 map-base 取模法

map-base 取模法

map-based：取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。

此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度

缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变

配置文件 

运行

变为动态的配置文件

变为动态的算法

一致性hash

一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动hash（o）mod n

该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动

hash环偏斜问题 

增加虚拟服务器IP数量，比如：一个后端服务器根据权重为1生成1000个虚拟IP，再hash。而后端服务器权重为2则生成2000的虚拟IP，再bash,最终在hash环上生成3000个节点，从而解决hash环偏斜问题

uri

基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后

根据最终结果将请求转发到后端指定服务器

适用于后端是缓存服务器场景

默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash

注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

左半部分：/<path>;<params>

整个uri：/<path>;<params>?<query>#<frag>

配置文件 

运行

url_param

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器,后端搜索同一个数据会被调度到同一个服务器，多用于电商

通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server

如果无没key，将按roundrobin算法

配置文件

运行

hdr

针对用户每个http头部(header)请求中的指定信息做hash，

此处由 name 指定的http首部将会被取出并做hash计算，

然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。

配置文件 

运行

算法总结

各算法使用场景 

first #使用较少

static-rr #做了session共享的web集群

roundrobin

random

leastconn #数据库

source

#基于客户端公网IP的会话保持

Uri--------------->http #缓存服务器，CDN服务商，蓝汛、百度、阿里云、腾讯

url_param--------->http #可以实现session保持

hdr #基于客户端请求报文头部做下一步处理

5、基于cookie值的会话保持

• 基于 Cookie 值的会话保持（也称为 "粘性会话"）是一种常用的负载均衡策略，确保来自同一客户端的请求始终被路由到同一后端服务器，从而维护会话状态的一致性。这种机制特别适用于不支持分布式会话的应用程序
• cookie value：为当前server指定cookie值，实现基于cookie的会话黏性，相对于基于 source 地址hash调度算法对客户端的粒度更精准，但同时也加大了haproxy负载，目前此模式使用较少， 已经被session共享服务器代替

注意：不支持 tcp mode，使用 http mode 

目的： 解决有状态应用（Stateful Application）的问题。例如，用户的购物车数据、登录会话信息等通常存储在特定后端服务器的内存或本地缓存中。如果用户的后续请求被负载均衡到不同的服务器，这些状态信息将丢失，导致应用出错。

 配置

测试

-b 指定cookie值

可以看到访问cookie值为servera时，被调度到RS1处理； cookie值为serverb时，被调度到RS2处理，与我们在haproxy配置文件里配置的一致。

6、HAProxy状态页

HAProxy 的状态页（Stats Page） 是实时监控负载均衡集群的核心工具，通过 Web 页面展示关键性能指标和后端节点状态。

状态页配置项

实验配置 

测试

加上stats refresh后面加上数字表示自动刷新的间隔

#pid为当前pid号，process为当前进程号，nbproc和nbthread为一共多少进程和每个进程多少个线程 
pid = 27134 (process #1, nbproc = 1, nbthread = 1) #启动了多长时间 
uptime = 0d 0h00m04s #系统资源限制：内存/最大打开文件数/ 
system limits: memmax = unlimited; ulimit-n = 200029 #最大socket连接数/单进程最大连接数/最大管道数maxpipes 
maxsock = 200029; maxconn = 100000; maxpipes = 0 #当前连接数/当前管道数/当前连接速率 
current conns = 2; current pipes = 0/0; conn rate = 2/sec; bit rate = 0.000 kbps#运行的任务/当前空闲率 
Running tasks: 1/14; idle = 100 % active UP：                 #在线服务器 
backup UP：                 #标记为backup的服务器 
active UP, going down：     #监测未通过正在进入down过程 
backup UP, going down：     #备份服务器正在进入down过程 
active DOWN, going up：     #down的服务器正在进入up过程 
backup DOWN, going up：     #备份服务器正在进入up过程 
active or backup DOWN：     #在线的服务器或者是backup的服务器已经转换成了down状态 
not checked：               #标记为不监测的服务器 #active或者backup服务器人为下线的 
active or backup DOWN for maintenance (MAINT) #active或者backup被人为软下线(人为将weight改成0) 
active or backup SOFT STOPPED for maintenance

 backend server信息

session rate(每秒的连接会话信息):

Errors(错误统计信息)：

cur:每秒的当前会话数量 :

Req:错误请求量

max:每秒新的最大会话数量

conn:错误链接量

limit:每秒新的会话限制量

Resp:错误响应量

sessions(会话信息):

Warnings(警告统计信息)：

cur:当前会话量

Retr:重新尝试次数

max:最大会话量

Redis:再次发送次数

limit: 限制会话量

Total:总共会话量

Server(real server信息)：

LBTot:选中一台服务器所用的总时间

Status:后端机的状态，包括UP和DOWN

Last：和服务器的持续连接时间

LastChk:持续检查后端服务器的时间

Wght:权重

Bytes(流量统计)：

Act:活动链接数量

In:网络的字节输入总量

Bck:备份的服务器数量

Out:网络的字节输出总量

Chk:心跳检测时间

Dwn:后端服务器连接后都是DOWN的数量

Denied(拒绝统计信息)：

Dwntme:总的downtime时间

Req:拒绝请求量

Thrtle:server 状态

Resp:拒绝回复量

 7、IP透传

HAProxy 的 IP 透传 是指将原始客户端的真实 IP 地址传递给后端服务器，而不是让后端服务器只看到 HAProxy 自身的 IP 地址。这对于后端应用至关重要，因为它需要知道真实的客户端信息来进行日志记录、访问控制、地理定位、速率限制、安全审计等操作。 

HAProxy 本身作为反向代理或负载均衡器，是客户端与后端服务器之间的中间节点。默认情况下，后端服务器看到的 TCP 连接源 IP 地址就是 HAProxy 的 IP 地址。

7层ip透传

当haproxy工作在七层的时候，也可以透传客户端真实IP至后端服务器

进入haproxy配置文件

开启Listen就把frontend和backend关了

4层ip透传

1）未开启时

未开启4层ip透传时的各种配置：

haproxy.cfg

两台RS都要配置

未开启4层ip透传时的访问测试极其日志：

访问测试

日志查看

在一台RS上查看nginx日志会发现，其真实访问源地址是看不到的（红框为-）

开启时

开启4层ip透传时的各种配置：

nginx.conf（两台RS都要配置）

开启4层ip透传时的访问测试极其日志：

访问测试

 查看日志nginx

 这样就能看到源ip地址

8、ACL

HAProxy 的 ACL 是其核心功能之一，用于定义复杂的流量匹配规则，实现基于请求内容（如 URL、Header、IP、路径等）的智能路由、过滤或决策。

前置要求

将proxy_protocol去掉

Client里做解析

先在Client里做域名解析，不然后续测试访问不了

解析在/etc/hosts做

这样就有解析了

基本配置

开启frontend、backend

其余的listen注释掉

ACL配置选项

基本语法

用acl来定义或声明一个acl

acl         <aclname>         <criterion>        [flags]         [operator]         [<value>]

acl         名称                     匹配规范         匹配模式    具体操作符     操作对象类型

ACL-Name 名称

ACL-criterion 匹配规则

路径匹配（(URL Path）

域名/主机头匹配 (Host)

HTTP头部匹配

HTTP方法/版本

标志项详解

ACL-operator 具体操作符

ACL-value 操作对象

ACL实验

 访问

实验——域名匹配

配置

访问

9、自定义错误页面

概念

在 HAProxy 中，自定义报错页面是一项关键功能，它允许你替换 HAProxy 生成的默认错误响应（通常是简短、技术性的纯文本或 JSON），为用户或客户端提供更友好、更专业、更具品牌特色或包含更多指导信息的 HTML 错误页面。 

实验

建立自定义报错文件

​​​

测试

关闭两个RS的nginx，模拟服务断开

然后浏览器访问ip，就能看到自定义报错界面了

10、证书

（1）证书制作

所有主机都关闭SELinux（命令setenforce 0）

按照提示来输入名字那些

之后将key和crt一起放到.pem里

这样证书就生成完毕了

进haproxy配置文件配置 

访问