全网超详细攻略-从入门到精通haproxy七层代理

3.2.2.2 haproxy的全局配置参数

[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(32570)---haproxy(32572)---{haproxy}(32573)   #只有一个进程，没有线程

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

...........
  # utilize system-wide crypto-policies
    ssl-default-bind-ciphers PROFILE=SYSTEM
    ssl-default-server-ciphers PROFILE=SYSTEM
    nbproc 2   # 启用多进程
	cpu-map 1 0 # 进程和CPU核心绑定 防止CPU抖动从而减伤系统资源消耗
    cpu-map 2 1 # 2表示第二个进程，0表示第一个CPU核心，1表示第二个CPU核心
.............
[root@haproxy ~]# systemctl restart haproxy.service 
[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(32625)-+-haproxy(32627)
           |                `-haproxy(32628)

# 查看多线程数量 32960为haproxy子进程的id
[root@haproxy ~]# cat /proc/32628/status | grep -i thread
Threads:	1     #现在线程数量为1
Speculation_Store_Bypass:	thread vulnerable

nbthread 设定多线程
# 多线程与多进程互斥，多进程与多线程同时设定重启服务的时候会报错
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

    # utilize system-wide crypto-policies
    ssl-default-bind-ciphers PROFILE=SYSTEM
    ssl-default-server-ciphers PROFILE=SYSTEM
    #nbproc 2
    #cpu-map 1 0
    #cpu-map 2 1
    nbthread 2

[root@haproxy ~]# systemctl restart haproxy.service 
[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(32646)---haproxy(32648)---{haproxy}(32649)
[root@haproxy ~]# cat /proc/32649/status | grep -i thread
Threads:	2     #现在线程数量为2
Speculation_Store_Bypass:	thread vulnerable

3.2.2.3 定向haproxy日志

frontend 配置参数：

bind ：指定 HAProxy 的监听地址，可以是 IPV4 或 IPV6 ，可以同时监听多个 IP 或端口，可同时用于 listen 字段中

# 格式：

bind [<address>]:<port_range> [, ...] [param*]

# 注意：如果需要绑定在非本机的 IP ，需要开启内核参数： net.ipv4.ip_nonlocal_bind=1

backlog <backlog> # 针对所有 server 配置 , 当前端服务器的连接数达到上限后的后援队列长度，注意：不支持backend

3.3 socat 工具

HAProxy 通过固定参数 balance 指明对后端服务器的调度算法

balance 参数可以配置在 listen 或 backend 选项中。

HAProxy 的调度算法分为静态和动态调度算法

有些算法可以根据参数在静态和动态算法中相互转换。

静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重( 只能为 0 和 1, 不支持其它值 ) ，只能靠重启 HAProxy 生效。

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

.......
listen webcluster
   bind *:80
   mode http
   balance static-rr
    server  web1 192.168.0.10:80 check inter 2 fall 3 rise 5 weight 2
    server  web2 192.168.0.20:80 check inter 2 fall 3 rise 5 weight 1
........

[root@haproxy ~]# systemctl restart haproxy.service 

#client测试
[root@client ~]# for i in {1..10}; do curl 192.168.0.100; done
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10

4.1.2 first

• 根据服务器在列表中的位置，自上而下进行调度
• 其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务
• 其会忽略服务器的权重设置
• 不支持用socat进行动态修改权重，可以设置0和1,可以设置其它值但无效

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

.......
listen webcluster
   bind *:80
   mode http
   balance first
    server  web1 192.168.0.10:80 check inter 2 fall 3 rise 5 weight 2
    server  web2 192.168.0.20:80 check inter 2 fall 3 rise 5 weight 1
........

[root@haproxy ~]# systemctl restart haproxy.service 

4.2 动态算法

• 基于后端服务器状态进行调度适当调整，
• 新请求将优先调度至当前负载较低的服务器
• 权重可以在haproxy运行时动态调整无需重启

1. 基于权重的轮询动态调度算法，

2. 支持权重的运行时调整，不同于 lvs 中的 rr 轮训模式，

3. HAProxy 中的 roundrobin 支持慢启动 ( 新加的服务器会逐渐增加转发数 ) ，

4. 其每个后端 backend 中最多支持 4095 个 real server ，

5. 支持对 real server 权重动态调整，

6. roundrobin 为默认调度算法 , 此算法使用广泛

优先把流量给权重高且负载小的主机，以负载为主

4.2.2 leastconn

其它算法即可作为静态算法，又可以通过选项成为动态算法

4.3.1 source

源地址 hash ，基于用户源地址 hash 并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一 个后端web 服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type 支持的选项更改这个算法一般是在不插入 Cookie 的 TCP模式下使用，也可给拒绝会话cookie 的客户提供最好的会话粘性，适用于 session 会话保持但不支持 cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

.......
listen webcluster
   bind *:80
   mode http
   balance source
    server  web1 192.168.0.10:80 check inter 2 fall 3 rise 5 weight 2
    server  web2 192.168.0.20:80 check inter 2 fall 3 rise 5 weight 1
........

[root@haproxy ~]# systemctl restart haproxy.service 

#测试
[root@client ~]# for i in {1..10}; do curl 192.168.0.100; done
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10

4.3.1.1 map-base 取模法

map-based ：取模法，对 source 地址进行 hash 计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。

此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度

缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果 整体改变  ， hash-type 指定的默值为此算法

所谓取模运算，就是计算两个数相除之后的余数， 10%7=3, 7%4=3

map-based 算法：基于权重取模， hash(source_ip)% 所有后端服务器相加的总权重

比如当源hash值时1111，1112，1113，三台服务器a b c的权重均为1，

即abc的调度标签分别会被设定为 0 1 2（1111%3=1，1112%3=2，1113%3=0）

1111 ----- > nodeb

1112 ------> nodec

1113 ------> nodea

如果a下线后，权重数量发生变化

1111%2=1，1112%2=0，1113%2=1

1112和1113被调度到的主机都发生变化，这样会导致会话丢失

#不支持动态调整权重值
[root@haproxy ~]# echo "set weight webserver_80/webserver1 2" | socat stdio
/var/lib/haproxy/haproxy.sock
Backend is using a static LB algorithm and only accepts weights '0%' and '100%'.

#只能动态上线和下线
[root@haproxy ~]# echo "set weight webserver_80/webserver1 0" | socat stdio
/var/lib/haproxy/haproxy.sock
[root@haproxy ~]# echo "get weight webserver_80/webserver1" | socat stdio
/var/lib/haproxy/haproxy.sock
0 (initial 1)

1. key1=hash(source_ip)%(2^32)
2. keyA=hash(后端服务器虚拟ip)%(2^32) [0—4294967295]
3. 将key1和keyA都放在hash环上，将用户请求调度到离key1最近的keyA对应的后端服务器

解决hash环偏斜问题

增加虚拟节点数量

首先，确定每个物理节点需要创建的虚拟节点数量。这个数量可以根据实际情况进行设定，通常会根据物理节点的数量、系统的规模和负载均衡的要求来决定。 然后，为每个物理节点生成相应数量的虚拟节点标识。这些标识可以通过在物理节点的标识基础上添加一些后缀或前缀来创建，以确保虚拟节点标识的唯一性。 接下来，计算虚拟节点的哈希值。使用与计算物理节点哈希值相同的哈希函数，对虚拟节点标识进行计算，得到对应的哈希值。 将虚拟节点的哈希值映射到一致性哈希环上。这些虚拟节点的哈希值会均匀地分布在哈希环上，从而增加了物理节点在哈希环上的“密度”。 在处理请求时，按照一致性哈希的规则，先计算请求的哈希值，然后在哈希环上顺时针查找最近的节点。由于虚拟节点的存在，请求更有可能被分配到不同的物理节点上，从而实现更均匀的负载分布。 例如，假设有 3 台物理服务器 A、B、C，决定为每台服务器创建 10 个虚拟节点。 服务器 A 的标识为 A，则生成的 10 个虚拟节点标识可以是 A-1、A-2、A-3 … A-10。 计算这些虚拟节点标识的哈希值，并映射到哈希环上。 当有新的请求到来时，计算其哈希值，在哈希环上查找最近的节点。此时，很可能会找到某个服务器 A 的虚拟节点，从而将请求分配到服务器 A 上。 通过这种方式，增加了服务器 A 在哈希环上的“存在范围”，提高了其获得请求分配的机会，使得负载能够在多台物理服务器之间更加均衡地分布。

4.3.2 uri

基于对用户请求的 URI 的左半部分或整个 uri 做 hash ，再将 hash 结果对总权重进行取模后

根据最终结果将请求转发到后端指定服务器

适用于后端是缓存服务器场景

默认是静态算法，也可以通过 hash-type 指定 map-based 和 consistent ，来定义使用取模法还是一致性hash

注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

左半部分： /<path>;<params>

整个 uri ： /<path>;<params>?<query>#<frag>

4.3.3 url_param

url_param 对用户请求的 url 中的 params 部分中的一个参数 key 对应的 value 值作 hash 计算，并由服务器总权重相除以后派发至某挑出的服务器, 后端搜索同一个数据会被调度到同一个服务器，多用与电商

通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server

如果无没 key ，将按 roundrobin 算法

4.3.4 hdr

针对用户每个 http 头部 (header) 请求中的指定信息做 hash ，

此处由 name 指定的 http 首部将会被取出并做 hash 计算，

然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。

4.3.5 算法总结

# 静态

static-rr--------->tcp/http

first------------->tcp/http

# 动态

roundrobin-------->tcp/http

leastconn--------->tcp/http

# 以下静态和动态取决于 hash_type 是否 consistent

source------------>tcp/http

Uri--------------->http

url_param--------->http

hdr--------------->http

各算法使用场景

first                      #使用较少

static-rr                #做了 session 共享的 web 集群

roundrobin           #做了 session 共享的 web 集群

leastconn             #数据库

source                  #基于客户端公网IP的会话保持

Uri--->http            #缓存服务器， CDN 服务商，蓝汛、百度、阿里云、腾讯

url_param--->http # 可以实现 session 保持

hdr                        #基于客户端请求报文头部做下一步处理

5.1 基于cookie的会话保持

cookie value ：为当前 server 指定 cookie 值，实现基于 cookie 的会话黏性，相对于基于 source 地址 hash调度算法对客户端的粒度更精准，但同时也加大了haproxy 负载，目前此模式使用较少， 已经被 session共享服务器代替

注意：不支持 tcp mode ，使用 http mode

5.1.1 配置选项

cookie name [ rewrite | insert | prefix ][ indirect ] [ nocache ][ postonly ] [

preserve ][ httponly ] [ secure ][ domain ]* [ maxidle <idle> ][ maxlife ]

name ：     #cookie 的 key 名称，用于实现持久连接

insert ：     # 插入新的 cookie, 默认不插入 cookie

indirect ： # 如果客户端已经有 cookie, 则不会再发送 cookie 信息

nocache：   # 当 client 和 hapoxy 之间有缓存服务器（如： CDN ）时，不允许中间缓存器缓存 cookie：    #因为这会导致很多经过同一个 CDN 的请求都发送到同一台后端服务器

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

.......
listen webcluster
   bind *:80
   mode http
   balance roundrobin
   cookie WEBCOOKIE insert nocache indirect
    server  web1 192.168.0.10:80 cookie web1 check inter 2 fall 3 rise 5 weight 2
    server  web2 192.168.0.20:80 cookie web2 check inter 2 fall 3 rise 5 weight 1
........

[root@haproxy ~]# systemctl restart haproxy.service 

#测试
[root@client ~]# curl -b WEBCOOKIE=web1 192.168.0.100
webserver1 - 192.168.0.10
[root@client ~]# curl -b WEBCOOKIE=web2 192.168.0.100
webserver2 - 192.168.0.20

5.2 HAProxy状态页

5.2.1 状态页配置项

stats enable                       # 基于默认的参数启用 stats page

stats hide-version              # 将状态页中 haproxy 版本隐藏

stats refresh <delay>        # 设定自动刷新时间间隔，默认不自动刷新

stats uri <prefix>               # 自定义 stats page uri ，默认值： /haproxy?stats

stats auth <user>:<passwd> # 认证时的账号和密码，可定义多个用户 , 每行指定一个用户

# 默认： no authentication

stats admin { if | unless } <cond> # 启用 stats page 中的管理功能

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

.....
listen stats
    mode http
    bind *:9999
    stats enable
    stats refresh 1
    stats uri /status
    stats auth redhat:123
.......
[root@haproxy ~]# systemctl restart haproxy.service 

浏览器测试

5.3 IP透传

IP 透传（IP Transparency）指的是在代理服务器处理请求和响应的过程中，能够将客户端的真实 IP 地址传递到后端服务器，使得后端服务器能够获取到客户端的原始 IP 而不是代理服务器的 IP 地址。

web服务器中需要记录客户端的真实 IP 地址，用于做访问统计、安全防护、行为分析、区域排行等场景。

5.3.2 七层IP透传

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
......
listen webcluster
   bind *:80
   mode http
   balance roundrobin   
   server  web1 192.168.0.10:80 check inter 2 fall 3 rise 5 weight 1   
   server  web2 192.168.0.20:80 send-proxy check inter 2 fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

#webserver关闭nginx，安装httpd
[root@webserver1 ~]# systemctl stop nginx.service 
[root@webserver1 ~]# systemctl disable nginx.service 
[root@webserver1 ~]# yum install httpd -y
[root@webserver1 ~]# echo web1 - 192.168.0.10 > /var/www/html/index.html~
[root@webserver1 ~]# systemctl restart httpd
[root@webserver1 ~]# systemctl enable --now  httpd

[root@webserver1 ~]# vim /etc/httpd/conf/httpd.conf

[root@webserver1 ~]# systemctl restart httpd



[root@client ~]# curl 192.168.0.100
webserver1 - 192.168.0.10
[root@client ~]# curl 192.168.0.100
webserver2 - 192.168.0.20
[root@client ~]# curl 192.168.0.100
webserver1 - 192.168.0.10

# 加上参数之后就可以在日志中查看客户端访问的真实IP
[root@webserver1 ~]# tail -n 5 /etc/httpd/logs/access_log 
192.168.0.1 192.168.0.100 - - [12/Aug/2024:02:25:40 +0800] "GET / HTTP/1.1" 403 26 "-" "curl/7.76.1"
192.168.0.1 192.168.0.100 - - [12/Aug/2024:02:26:46 +0800] "GET / HTTP/1.1" 403 26 "-" "curl/7.76.1"
192.168.0.1 192.168.0.100 - - [12/Aug/2024:02:26:47 +0800] "GET / HTTP/1.1" 403 26 "-" "curl/7.76.1"

5.3.3 四层IP透传

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
......
listen webcluster
   bind *:80
   mode tcp
   balance roundrobin   
   server  web1 192.168.0.10:80 check inter 2 fall 3 rise 5 weight 1   
   server  web2 192.168.0.20:80 send-proxy check inter 2 fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

[root@client ~]# curl 192.168.0.100
webserver1 - 192.168.0.10
[root@client ~]# curl 192.168.0.100
webserver2 - 192.168.0.20

# 此时看日志是看不到访问者的真实IP
[root@webserver1 ~]# tail -n 3 /etc/httpd/logs/access_log 
- 192.168.0.100 - - [12/Aug/2024:02:37:06 +0800] "GET / HTTP/1.1" 403 26 "-" "curl/7.76.1"
- 192.168.0.100 - - [12/Aug/2024:02:37:48 +0800] "GET / HTTP/1.1" 403 26 "-" "curl/7.76.1"
- 192.168.0.100 - - [12/Aug/2024:02:37:49 +0800] "GET / HTTP/1.1" 403 26 "-" "curl/7.76.1"

[root@webserver2 ~]# vim /etc/nginx/nginx.conf

# 查看日志内容

[root@webserver2 ~]# tail -n 5 /var/log/nginx/access.log 
192.168.0.100 - - [12/Aug/2024:03:01:49 +0800] "PROXY TCP4 192.168.0.100 192.168.0.20 47550 80" 400 0 "-"  "-""-" "-"
192.168.0.100 - - [12/Aug/2024:03:01:49 +0800] "PROXY TCP4 192.168.0.100 192.168.0.20 47552 80" 400 157 "-"  "-""-" "-"
192.168.0.100 - - [12/Aug/2024:03:01:49 +0800] "PROXY TCP4 192.168.0.100 192.168.0.20 47554 80" 400 0 "-"  "-""-" "-"
192.168.0.100 - - [12/Aug/2024:03:01:49 +0800] "PROXY TCP4 192.168.0.100 192.168.0.20 47556 80" 400 0 "-"  "-""-" "-"
192.168.0.100 - - [12/Aug/2024:03:01:49 +0800] "PROXY TCP4 192.168.0.100 192.168.0.20 47558 80" 400 0 "-"  "-""-" "-"

5.4 ACL

访问控制列表 ACL ， Access Control Lists ）

是一种基于包过滤的访问控制技术

它可以根据设定的条件对经过服务器传输的数据包进行过滤 ( 条件匹配 ) 即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL 、文件后缀等信息内容进行匹配并执行进一步操作，比如允许其通过或丢弃

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg

frontend webcluster
     bind *:80
     mode http
     acl test hdr_dom(host) -i www.haha.org
     use_backend webcluster-host if test
     default_backend default-host

backend webcluster-host
     mode http
     server web1 192.168.0.10:80 check inter 2 fall 2 rise 5

backend default-host
     mode http
     server web2 192.168.0.20:80 check inter 2 fall 2 rise 5

[root@haproxy ~]# systemctl restart haproxy.service 

# 满足条件的时候访问webcluster-host，不满足条件默认访问default-host。在做这个之前记得把上面在webserver2上做的IP透传的代码给注释掉，不然访问的时候会报502的错误。在Windows上面也要做本地解析。
[root@client ~]# curl www.haha.org
webserver1 - 192.168.0.10
[root@client ~]# curl 192.168.0.100
webserver2 - 192.168.0.20

利用ACL做动静分离等访问控制

# 基于域名的访问控制
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg

frontend webcluster
     bind *:80
     mode http
     acl domain hdr_dom(host) -i www.haha.org
     use_backend webcluster-host if domain
     default_backend default-host

backend webcluster-host
     mode http
     server web1 192.168.0.10:80 check inter 2 fall 2 rise 5

backend default-host
     mode http
     server web2 192.168.0.20:80 check inter 2 fall 2 rise 5

[root@haproxy ~]# systemctl restart haproxy.service 

# 只有访问www.abc.org域名的时候才会去访问webserver1，否则访问webserver2
[root@client ~]# curl www.haha.org
webserver1 - 192.168.0.10
[root@client ~]# curl www.haha
webserver1 - 192.168.0.20

# 基于IP的访问控制
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg

frontend webcluster
     bind *:80
     mode http
     acl ctrl_ip src 192.168.0.1  192.168.0.20  192.168.0.0/24
     use_backend webcluster-host if ctrl_ip
     default_backend default-host

backend webcluster-host
     mode http
     server web1 192.168.0.10:80 check inter 2 fall 2 rise 5

backend default-host
     mode http
     server web2 192.168.0.20:80 check inter 2 fall 2 rise 5

[root@haproxy ~]# systemctl restart haproxy.service 

# 符合条件的访问webserver1，不符合的访问webserver2
[root@client ~]# curl 192.168.0.100     #本机ip 172.25.254.10
webserver1 - 192.168.0.10
[root@webserver2 ~]# curl 192.168.0.100     #本机ip 192.168.0.20
webserver1 - 192.168.0.10