LVS(Linux Virtual Server)是一种用于实现负载均衡和高可用性集群的开源解决方案。LVS负载均衡集群通过将客户端请求分配到多台服务器上,从而提高系统的处理能力和可靠性。以下是LVS负载均衡集群的详细介绍:
1. 体系结构
LVS主要由两部分组成:
- 调度器(Load Balancer/Director):负责接收客户端请求,并将这些请求分发到后端的真实服务器(Real Servers)上。
- 真实服务器(Real Servers):实际处理客户端请求的服务器。
2. 工作模式
LVS有三种主要的工作模式:
- NAT模式(Network Address Translation):
- 调度器收到请求后,将请求的目标IP地址修改为某台真实服务器的IP地址,并将请求转发过去。
- 真实服务器处理请求后,将响应返回给调度器,再由调度器返回给客户端。
- 适用于内部网络环境,调度器成为通信的瓶颈。
- DR模式(Direct Routing):
- 调度器收到请求后,将请求的目标MAC地址修改为某台真实服务器的MAC地址,并将请求转发过去。
- 真实服务器直接将响应返回给客户端,不经过调度器。
- 要求调度器和真实服务器在同一局域网内,适用于大规模、高性能场景。
- TUN模式(IP Tunneling):
- 调度器通过IP隧道(IPIP隧道)将请求转发给真实服务器。
- 真实服务器通过隧道直接将响应返回给客户端。
- 适用于分布在不同网络中的真实服务器。
3. 负载均衡算法
LVS支持多种负载均衡算法:
- 轮询(Round Robin):将请求依次分配给每台真实服务器,适用于性能相近的服务器。
- 加权轮询(Weighted Round Robin):根据服务器的性能给每台服务器分配不同的权重,权重越高,分配的请求越多。
- 最少连接(Least Connections):将请求分配给当前处理请求最少的服务器,适用于长连接服务。
- 加权最少连接(Weighted Least Connections):在最少连接的基础上,加上服务器的权重。
4. 高可用性
LVS通常与Keepalived或Heartbeat等高可用软件结合使用,来实现调度器的高可用性:
- Keepalived:通过VRRP协议,实现主备调度器的自动切换,确保调度器故障时仍能继续提供服务。
- Heartbeat:监控集群中的各个节点,并在检测到节点故障时,进行相应的故障转移操作。
实验案例
配置负载调度器
[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
[root@localhost ~]# vi /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 172.16.16.172:80 -s rr
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.102:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.103:80 -m -w 1
[root@localhost ~]# ipvsadm-save
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.10.102:http -m -w 1
-a -t localhost.localdomain:http -r 192.168.10.103:http -m -w 1
[root@localhost ~]# systemctl enable ipvsadm
注释:
-s:指定调度算法
rr:轮询
wrr:加权轮询
lc:最小链接数
wlc:加权最小连接数
-A 添加一个新的集群服务;
-E 修改一个己有的集群服务;
-D 删除指定的集群服务;
-a 向指定的集群服务中添加RS及属性;
-e 修改RS属性;
-t 指定为tcp协议;
-u 指定为udp协议;
-s 调度方法,默认为wlc;
-w 指定权重,默认为1;
-g Gateway, DR模型;
-i ipip, TUN模型;
-m masquerade, NAT模型;
-S 保存ipvsadm设定的规则策略,默认保存在/etc/sysconfig/ipvsadm中;
-R 载入己保存的规则策略,默认加载/etc/sysconfig/ipvsadm;
-C 清除所有集群服务;
-Z 清除所有记数器;
-L 显示当前己有集群服务,能通过相应的options查看不同状态信息;
-r 指定真实服务器的地址
例如:
删除群集
[root@localhost ~]# ipvsadm -D -t 192.168.10.172:80
删除某个real server
[root@localhost ~]# ipvsadm -d -t 192.168.10.172:80 -r 192.168.10.103
配置web节点服务器
(1)在两个web节点安装httpd,并创建测试页
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# vi /var/www/html/index.html
LVS test1
注意:
另一台web节点的测试页面可以修改为其他文字,这样在测试时,就可以看到调度效果
vi /var/www/html/index.html
LVS test2
(2)启动httpd服务
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
测试LVS群集
客户端测试网站http://172.16.16.172
可以刷新页面,观察页面的变化,是否在多个web站点中实现负载均衡
在LVS上产看调度信息
[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.16.16.172:80 rr
-> 192.168.10.102:80 Masq 1 0 0
-> 192.168.10.103:80 Masq 1 0 0
注释:
ActiveConn是活动连接数,也就是tcp连接状态的ESTABLISHED
InActConn是指除了ESTABLISHED以外的,所有的其它状态的tcp连接
备注:共有十个连接状态,常见的如下
LISTENING状态
服务启动后首先处于侦听(LISTENING)状态。
ESTABLISHED状态
ESTABLISHED的意思是建立连接。表示两台机器正在通信。
CLOSE_WAIT
对方主动关闭连接或者网络异常导致连接中断,这时我方的状态会变成CLOSE_WAIT 此时我方要调用close()来使得连接正确关闭
TIME_WAIT
我方主动调用close()断开连接,收到对方确认后状态变为TIME_WAIT。
SYN_SENT状态
SYN_SENT状态表示请求连接,当你要访问其它的计算机的服务时首先要发个同步信号给该端口,此时状态为SYN_SENT,如果连接成功了就变为ESTABLISHED
linux做客户端时可以用以下代码进行测试
[root@localhost ~]# for i in $(seq 10);do curl 172.16.16.172;done
NFS共享存储服务
使用NFS发布共享资源
(1)安装nfs-utils、rpcbind软件包
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install nfs-utils rpcbind
[root@localhost ~]# systemctl enable nfs
[root@localhost ~]# systemctl enable rpcbind
(2)设置共享目录
[root@localhost ~]# mkdir -p /opt/wwwroot
[root@localhost ~]# vi /etc/exports
/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)
可以同时发布多个目录,并且可以为不同的客户端设置不同的访问权限
备注:
- rw 可读写的权限
- ro 只读的权限
- no_root_squash 登入NFS主机,使用该共享目录时相当于该目录的拥有者,如果是root的话,那么对于这个共享的目录来说,他就具有root的权限,这个参数极不安全,不建议使用
- root_squash 登入NFS主机,使用该共享目录时相当于该目录的拥有者。但是如果是以root身份使用这个共享目录的时候,那么这个使用者(root)的权限将被压缩成为匿名使用者,即通常他的UID与GID都会变成nobody那个身份
- all_squash 不论登入NFS的使用者身份为何,他的身份都会被压缩成为匿名使用者,通常也就是nobody
- sync 资料同步写入到内存与硬盘当中
- async 资料会先暂存于内存当中,而非直接写入硬盘
- insecure 允许从这台机器过来的非授权访问
(3)启动NFS服务程序
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# netstat -anpt | grep rpc
tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 44153/rpc.mountd
tcp 0 0 0.0.0.0:50661 0.0.0.0:* LISTEN 7511/rpc.statd
tcp6 0 0 :::20048 :::* LISTEN 44153/rpc.mountd
tcp6 0 0 :::54742 :::* LISTEN 7511/rpc.statd
(4)查看本机发布的NFS共享目录
[root@localhost ~]# showmount -e
Export list for localhost.localdomain:
/opt/wwwroot 192.168.7.0/24
/var/ftp/pub 192.168.10.173,192.168.7.172
(5)在web节点挂载nfs
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# mount -t nfs 192.168.10.105:/opt/wwwroot /var/www/html
在nfs上创建测试网页
[root@localhost ~]# vi /var/www/html/index.html
LVS test
linux做客户端时可以用一下代码进行测试
[root@localhost ~]# for i in $(seq 10);do curl 172.16.16.172;done