LVS——＞linux 虚拟服务器知识汇总

一、概念：

LVS（Linux Virtual Server），是Linux Virtual Server的简写，也就是Linux 虚拟服务器，是一个虚拟的服务器集群系统负载均衡解决方案，它将一个真实服务器集群虚拟成一台服务器来对外提供服务，同时在真实服务器集群中实现了负载均衡。

意义：

随着互联网的发展日新月异，其用户呈爆发性增长，企业的用户访问量与数据等迅猛增加，曾经的单个机器搭建服务器已经更不上时代了，通过虚拟服务器可以实现以多个服务器为一个整体对外提供服务，每台服务器分担部分压力，理论上只要有钱，服务器买的够多，它可以无上限增长，以应对海量数据。

二、集群和分布式简介

1、Cluster集群：

集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

系统性能扩展方式：

• Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务

• Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题。

2、Cluster类型：

LB： Load Balancing，负载均衡，多个主机组成，每个主机只承担一部分访问请求。

HA： High Availiablity，高可用，避免 SPOF（single Point Of failure）。

MTBF:Mean Time Between Failure 平均无故障时间，正常时间 MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间 A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999% SLA：Service level agreement（服务等级协议）是在一定开销下为保障服务的性能和可用性，服 务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在 常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这种水平的时候，就会有一 些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。 停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外 停机时间 HPC：High

HPC： High-performance computing，高性能。

3、分布式：

分布式存储:Ceph，GlusterFs，FastDFS，MogileFs 分布式计算:hadoop，Spark 分布式常见应用 分布式应用-服务按照功能拆分，使用微服务

• 分布式静态资源--静态资源放在不同的存储集群上
• 分布式数据和存储--使用key-value缓存系统
• 分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

三、lvs三种工作模式

NAT 地址转换

调度器会作为所以节点服务器的默认网关，也是客户端的访问入口和节点服务器返回响应消息的出口，也就是说调度器会承载双向数据流量的负载压力，可能会成为整个群集的性能瓶颈。由于节点服务器都处于内网环境，使用私网IP地址，所以具有一定安全性。

TUN IP隧道 IP Tunnel

调度器仅作为客户端的访问入口，节点服务器的响应消息是直接返回给客户端的，不需要经过调度器。但是由于节点服务器需要部署在不同位置的公网环境中，需要具有独立的公网IP，调度器与节点服务器是通过专用的IP隧道实现相互通信的，因此IP隧道模式的成本较高、安全性较低，且IP隧道需要额外的封装和解封装，性能会受到一定的影响。

DR 直接路由  Direct Routing

调度器仅作为客户端的访问入口，节点服务器的响应消息是直接返回给客户端的，不需要经过调度器。（与NAT模式的区别）
节点服务器与调度器是部署在同一个物理网络内，因此不需要建立专用的IP隧道。（与TUN模式的区别）
DR模式是企业首选的LVS模式。 

ipvsadm命令配置：

-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-C: 清空所有
-R: 重新加载，同ipvsadm-restore
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器（节点服务器）
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息，常与"-l“选项组合使用。

ipvsadm使用yum安装即可

主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm

DR配置步骤：

DR模式，负载调度器接收到了客户端的请求，将客户端的请求发送给route路由，通过路由提供路径到lvs主机前往WEB服务器，WEB服务器处理好之后，通过路由把处理结果发回给客户端。

实验的环境：（使用的是红帽9.4镜像）

lvs主机中

如果不知道位置（/etc/NetworkManager/system-connection/网卡配置文件）

配置好后使用nmcli connection reload

nmcli connection up 网卡 主机名（任意）启动

route配置

nat

仅主机网卡

webserver1

webserver2

同web1一样

client

步骤：

给lvs、rs1、rs2中添加一个回环vip地址ip addr add dev lo 192.168.0.200/32

安装ipvsadm

yum install ipvsadm -y 

在rs1和rs2中解决响应问题，在两台机器中输入

 echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
 echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

lvs主机中设置调度策略

ipvsadm -A -t 192.168.0.200:80 -s wrr
ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2

这张图是做了防火墙，没做时只有轮换

防火墙标记

Yum install mod_ssl -y

在rs也就是web1，2中安装模块，支持https

下载后重启httpd

然后ipvsadm -C 删除所有

使用

iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66让防火墙标记

[root@lvs ~]# ipvsadm -A -f 66 -s rr

[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.10 -g

[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.20 -g

在client上curl 192.168.0.200;curl -k https://192.168.0.200

Yum install mod_ssl -y

在rs也就是web1，2中安装模块，支持https

下载后重启httpd

然后ipvsadm -C 删除所有

使用

iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66让防火墙标记

[root@lvs ~]# ipvsadm -A -f 66 -s rr

[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.10 -g

[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.20 -g

在client上curl 192.168.0.200;curl -k https://192.168.0.200