LVS负载均衡群集（NAT地址转换模式与DR直接路由模式）

一、LVS集群概括

1.集群基础

Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

用户访问服务，不在乎后台是谁，集群由多台主机构成，但对外表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机

2.集群的类型

1.负载均衡群集

提高应用系统的响应能力，尽可能处理更多的访问请求，减少延迟为目标，获得高并发、高负载(LB)的整体性能，LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力，例如DNS轮询和反向代理

2.高可用群集

提高应用系统的可靠性，尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA)的容错效果，HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线，主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。例如故障切换和双机热备

3.高性能运算群集

提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力，高性能依赖于分布式运算、并行计算，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力，例如云计算、网格计算

3.负载均衡集群的结构

1.负载调度器（负载均衡层）

访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性

2.服务器池（web应用层）

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址（真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池

3.共享存储

为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器

4.LVS负载均衡集群的三种工作模式

1.NAT地址转换模式

类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口，服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

2.DR直接路由模式

最常用，所有主机共享vip地址，不原路返回LVS调度器。web服务器在同一网段，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络，负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

3.TUNNEL隧道模式

需要买公网地址，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器，服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

5.LVS集群负载调度器

LVS集群（Linux Virtual server）负载调度器，内核集成, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现，整个SLB系统由3部分构成:四层负载均衡，七层负载均衡和控制系统

1.四层负载均衡 ，采用开源软件LVS (linux virtual server)，并根据云计算需求对其进行了定制化;该技术已经在阿里巴巴内部业务全面上线应用2年

2.七层负载均衡，采用开源软件Tengine;该技术已经在阿里巴巴内部业务全面上线应用3年多;·控制系统，用于配置和监控负载均衡系统

工作原理：

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核级功能，工作在INPUT链的位置，将发往INPUT的流量进行处理

VS：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer（lvs服务器）

RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)（真实服务器）

CIP：Client IP（客户机IP）

VIP：Virtual serve IP VS外网的IP

DIP：Director IP VS内网的IP

RIP：Real server IP （真实IP）

6.LVS的负载调度算法

固定调度算法:

1.轮询（rr）

将收到的访问请求安装顺序轮流分配给群集指定各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载

2.加权轮询（wrr）

依据不同RS的权值分配任务。权重值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数，保证性能强的服务器承担更多的访问流量

3.目的地址hash调度（dh）

以目的地址为关键字查找一个静态hash表来获得所需RS

4.源地址hash调度(sh)

以源地址为关键字查找--个静态hash表来获得需要的RS

5.最小连接数调度（lc）

ipvs表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS,根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

动态调度算法：

6.加权最小连接数调度（wlc）

假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次取Ti/Wi为最小的RS作为下一个分配的RS

7.基于地址的最小连接数调度（lblc）

将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑

7.ipvsadm管理工具

ipvsadm 是在负载调度器上使用的 LVS 群集管理工具，通过调用 ip_vs 模块来添加、删除服务器节点 ，以及查看集群运行状态，在CentOS 7系统中，需安装软件包

yum  -y install ipvsadm

LVS 群集的管理工作主要包括创建虚拟服务器、添加服务器节点、查看群集节点状态、 删除服务器节点和保存负载分配策略

ipvsadm选项：

8.集群设计原则

1.可扩展性：集群的横向扩展能力

2.可用性：无故障时间

3.性能：访问响应时间

4.容量：单位时间内的最大并发吞吐量

二、集群与分布式

1.分布式系统

1.分布式存储：将数据分散存储在多台独立的设备上 。Ceph，GlusterFS，FastDFS，MogileFS

2.分布式计算： 将该应用分解成许多小的部分，分配给多台计算机进行处理。 hadoop，Spark

3.分布式应用：服务按照功能拆分，使用微服务（单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值服务）

4.分布式静态资源：静态资源放在不同的存储集群上

5.分布式数据和存储：使用key-value缓存系统

6.分布式计算：对特殊业务使用分布式计算，比如Hadoop集群

2.集群与分布式介绍

1.集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的

2.分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务

三、LVS负载均衡群集部署（NAT模式）

配置环境：

负载调度器(双网卡)：

内网ens33：192.168.7.10

外网ens36：12.0.0.1

Web服务器1：192.168.7.20

Web服务器2：192.168.7.30

NFS共享服务器：192.168.7.40

1.负载调度器配置双网卡

2.部署NFS服务器：192.168.7.40

1.#关闭防火墙和selinux

systemctl stop firewalld

setenforce 0

2.#安装nfs服务

yum install nfs-utils rpcbind -y

3.#新建目录，并创建站点文件

cd /opt/

mkdir eva es

echo "this is eva" > eva/index.html

echo "this is es" > es/index.html

4.#开启服务

systemctl start rpcbind

systemctl start nfs

5.#给eva和es权限

chmod 777 eva  es

6.#设置共享策略

vim /etc/exports

/opt/eva 192.168.7.0/24(rw,sync)

/opt/es 192.168.7.0/24(rw,sync)

7.#发布服务

exportfs -rv

8.#重启nfs服务

systemctl restart nfs

3.部署Web服务器1：192.168.7.20

1.#关闭防火墙和selinux

systemctl stop firewalld

setenforce 0

2.#安装httpd、nfs-utils和rpcbind程序

yum install httpd -y

yum install nfs-utils rpcbind -y

3.#查看nfs服务(nfs共享服务器ip地址)

showmount -e 192.168.7.40

4.#开启nfs和rpnbind

systemctl start nfs

systemctl start rpcbind

5.#挂载站点（nfs共享服务器ip地址），这里有两种挂载，这里演示选择了临时挂载

第一种临时挂载

df

cat /var/www/html/index.html

mount 192.168.7.40:/opt/eva /var/www/html

第二种永久挂载

vim /etc/fstab

192.168.7.40:/opt/eva /var/www/html nfs defaults,_netdev 0 0

mount -a

6.#开启httpd服务并设置开机自启动

systemctl start httpd

systemctl enable httpd

7.#修改网关（负载调度器的内网及DNS）

vim /etc/sysconfig/network-scripts/ifcfg-ens33

GATEWAY=192.168.7.10

DNS=218.2.135.1

8.#重启网络服务

systemctl restart network

3.部署Web服务器2：192.168.7.30

1.#关闭防火墙和selinux

systemctl stop firewalld

setenforce 0

2.#安装httpd、nfs-utils和rpcbind程序

yum install httpd -y

yum install nfs-utils rpcbind -y

3.#查看nfs服务(nfs共享服务器ip地址)

showmount -e 192.168.7.40

4.#开启nfs和rpnbind

systemctl start nfs

systemctl start rpcbind

5.#挂载站点（nfs共享服务器ip地址），这里有两种挂载，这里演示选择了临时挂载

第一种临时挂载

df

cat /var/www/html/index.html

mount 192.168.7.40:/opt/es /var/www/html

第二种永久挂载

vim /etc/fstab

192.168.7.40:/opt/es /var/www/html nfs defaults,_netdev 0 0

mount -a

6.#开启httpd服务并设置开机自启动

systemctl start httpd

systemctl enable httpd

7.#修改网关（负载调度器的内网及DNS）

vim /etc/sysconfig/network-scripts/ifcfg-ens33

GATEWAY=192.168.7.10

DNS=218.2.135.1

8.#重启网络服务

systemctl restart network

4.部署负载调度服务器(内网ens33:192.168.7.10外网ens36:12.0.0.1)

1.#关闭防火墙和selinux

systemctl stop firewalld

setenforce 0

2.#安装ipvsadm

yum install ipvsadm* -y

3.#打开路由转发功能

vim /etc/sysctl.conf

net.ipv4.ip_forward = 1

sysctl -p

4.#防火墙做策略

#清空策略

iptables -F

#添加策略

iptables -t nat -A POSTROUTING -s 192.168.7.0/24 -o ens36 -j SNAT --to 12.0.0.1

#查看策略

iptables -nL -t net

5.#加载LVS内核模块

modprode ip_vs

cat /proc/net/ip_vs

6.#开启ipvsadm服务

ipvsadm-save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

7.#清空策略

ipvsadm -C

8.#制定策略

#指定IP地址 外网的入口 -s rr 轮询

ipvsadm -A -t 12.0.0.1:80 -s rr

#先指定虚拟服务器再添加真实服务器地址，-r：真实服务器地址 -m指定nat模式

ipvsadm -a -t 12.0.0.1:80 -r 192.168.7.20:80 -m

ipvsadm -a -t 12.0.0.1:80 -r 192.168.7.30:80 -m

#开启服务

ipvsadm

9.#查看策略

ipvsadm -ln

5.windows客户机验证（12.0.0.10）

四、LVS-DR模式的特点

1.Director Server和Real Server必须在同一个物理网络中

2.Real Server可以使用私有地址，也可以使用公网地址，如果使用公网地址，可以通过互联网对RIP进行直接访问

3.所有的请求报文经由Director Server,但回复响应报文不能经过Director Server

4.Real Server的网关不允许指向Director Server IP,即不允许数据包经过Director Server

5.Real Server上的IO接口配置VIP的IP地址

五、LVS负载均衡群集部署（DR模式）

配置环境：

Web服务器1：192.168.7.10

Web服务器2：192.168.7.20

DR服务器：192.168.7.30

虚拟回环VIP：192.168.7.40

客户端：192.168.7.50

1.部署DR负载调度服务器（192.168.7.30）

1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
2. #安装ipvsadm工具
yum install ipvsadm* -y
3. #配置虚拟IP地址（虚拟回环VIP：192.168.7.40）
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
#删除UUID，dns与网关，注意子网
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.79.23
NETMASK=255.255.255.255
4. #重启网络服务、启动网卡
systemctl restart network
ifup ifcfg-ens33:0
5. #调整/proc响应参数   
#对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能
vi /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0 
6. #刷新配置
sysctl -p 
7. #加载模块
modprobe ip_vs
cat /proc/net/ip_vs
8. #配置负载分配策略，并启动服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
9. #清空ipvsadm，并做策略
##添加真实服务器-a  指定VIP地址及TCP端口-t   指定RIP地址及TCP端口 -r 指定DR模式-g

#VIP地址    Web服务器1和2
ipvsadm -C
ipvsadm -A -t 192.168.7.40:80 -s rr
ipvsadm -a -t 192.168.7.40:80 -r 192.168.7.10:80 -g
ipvsadm -a -t 192.168.7.40:80 -r 192.168.7.20:80 -g
10. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm

2.部署Web服务器1（192.168.7.10）

1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
2. #安装httpd、开启服务
yum install httpd -y
systemctl start httpd
3. #创建一个站点文件
vim /var/www/html/index.html
this is Web Server 1
3. #添加回环网卡,修改回环网卡名，IP地址，子网掩码
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.7.40
NETMASK=255.255.255.255
NETWORK=127.0.0.0

systemctl restart network
 
4. #设置路由到VIP虚拟回环
route add -host 192.168.7.40 dev lo:0
route -n
5. #开机执行命令
vim /etc/rc.d/rc.local 
/usr/sbin/route add -host 192.168.7.40 dev lo:0
 
chmod +x /etc/rc.d/rc.local
 
6. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
7. #刷新配置 
sysctl -p

3.部署Web服务器2（192.168.7.20）

1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
2. #安装httpd、开启服务
yum install httpd -y
systemctl start httpd
 
3. #创建一个站点文件
vim /var/www/html/index.html
this is Web Server 2
 
3. #添加回环网卡,修改回环网卡名，IP地址，子网掩码
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.7.40
NETMASK=255.255.255.255
NETWORK=127.0.0.0
 
systemctl restart network
 
4. #设置路由
route add -host 192.168.7.40 dev lo:0
route -n
 
5. #开机执行命令
vim /etc/rc.d/rc.local 
/usr/sbin/route add -host 192.168.7.40 dev lo:0
 
chmod +x /etc/rc.d/rc.local
 
6. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
sysctl -p

4.在客户机上测试（192.168.7.50）