目录
摘要:
本文将详细介绍如何使用 VMware 虚拟机搭建一个自动化备份全网服务器数据平台。平台包括 web01、nfs01 和 backup 三台服务器，使用 rsync 进行数据同步，并通过邮件告警平台发送备份结果信息。
一、项目背景
1.1 rsync简介
作用：
rsync：remote sync(远程同步)，是一个在 Linux 和其他 Unix-like 系统上一个非常强大的命令行工具，用于计算机之间进行数据同步，可以当做文件复制工具，替代cp和mv命令，主页：https://rsync.samba.org/
特点：
同步速度快：由于使用sync算法，其只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。
可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等
无须特殊权限即可安装
优化的流程，文件传输效率高
可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接
支持匿名传输。
语法：
标准结构
rsync [选项] 源目录/文件 目标目录/文件 -a, --archive：归档模式，保留所有文件属性。 -v, --verbose：详细输出。 -r, --recursive：递归地同步目录。 -z, --compress：使用压缩传输数据，可以减少网络带宽。 -e, --rsh=COMMAND：指定远程 shell 程序（例如 SSH）。 --delete：删除目标中不在源中的文件。 --exclude=PATTERN：排除符合指定模式的文件或目录。本地同步
rsync -a source destination # -a包含-r的递归功能同时可以同步修改时间、权限等元信息远程同步
# 默认使用ssh协议传输 rsync -av source/ username@remote_host:destination # 本地内容同步到远程即推送 rsync -av username@remote_host:source/ destination # 远程内容同步到本地即拉取 # 若两端都有rsync进程，可以使用rsync协议传输 rsync -av source/ 192.168.122.32::module/destination # 有2个冒号增量备份
# 只复制变动的内容 rsync -a --delete --link-dest /compare/path /source/path /target/path # 分析 # --link-dest参数指定基准目录/compare/path # 源目录/source/path跟基准目录进行比较 # 之后找出变动的文件，将其拷贝到目标目录/target/path，未变动的文件会生成硬链接。 # 该命令的第一次备份时为全量备份，之后为增量备份1.2 项目需求
配置需求：
某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复
要求如下：
每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件
通过rsync命令推送到备份服务器上保存
备份服务器定时清除旧记录
搭建邮件告警平台
所有服务器的备份目录必须都为/backup。
要备份的系统配置文件包括但不限于：
定时任务服务的配置文件（/var/spool/cron/root） （适合Web和NFS服务器）。
开机自启动的配置文件（/etc/rc.local） （适合Web和NFS服务器）。
日常脚本的目录 （/server/scripts）。
Web服务器要求
Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。
Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。
Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。
备份服务器要求
保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。
要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。
需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。
备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。
二、项目环境
2.1 项目拓扑结构
2.2 软硬件环境清单
已知3台服务器主机名分别为web01、backup、nfs01，主机信息建下表。
| 主机名 | IP地址 | 硬件 | 软件 |
|---|---|---|---|
| web01 | 192.168.88.200 | cpu:1颗2核 内 存：2GB HDD：20GB 网 络：NAT | VmWare17 Centos7.9 nginx1.20 rsync3.1.2 |
| nfs01 | 192.168.88.201 | cpu:1颗2核 内 存：2GB HDD：20GB 网 络：NAT | VmWare17 Centos7.9 nfs rpcbind rsync3.1.2 |
| backup | 192.168.88.202 | cpu:1颗2核 内 存：2GB HDD：20GB 网 络：NAT | VmWare17 Centos7.9 mailx12.5 rsync3.1.2 |
Centos7.9的iso下载链接：https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2207-02.iso
三、任务清单
3.1 项目环境搭建
可以使用iventoy网启安装3台centos7.9服务器
按照规划，最小化部署系统，关闭防火墙，禁用SELinux，确保能够联网。
3.2 服务器部署
Web服务器搭建部署：
验证Rsync服务能否推送成功。
开发脚本实现打包备份、推送、校验、删除。
配置定时任务每天0点定时推送（0时是时间的一个分割点）。
NFS服务器搭建部署：
验证Rsync服务能否推送成功。
开发脚本实现打包备份、推送、校验、删除。
配置定时任务每天0点定时推送（0时是时间的一个分隔点）。
配置脚本和web服务器类似，过程略。
搭建备份服务器：
rsync服务器搭建部署。
开发脚本实现校验、删除、报警。
配置实时任务每天6点实时执行。
配置告警邮件发送平台
四、实施步骤
4.1 环境搭建
web01服务器环境搭建：
安装Centos7.9系统，替换yum源，连接xshell，过程略
关闭防火墙和selinux，设置主机名
[root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld [root@localhost ~]# vi /etc/selinux/config SELINUX=disabled [root@localhost ~]# hostnamectl set-hostname web01 [root@localhost ~]# reboot设置静态ip
[root@web01 ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens32 # Generated by dracut initrd NAME="ens32" DEVICE="ens32" ONBOOT=yes # 启用 NETBOOT=yes UUID="7e65296d-c761-4002-80ab-0543cee4f60d" IPV6INIT=yes BOOTPROTO=none IPADDR="192.168.88.200" # ip NETMASK="255.255.255.0" # 掩码 GATEWAY="192.168.88.2" # 网关 DNS1="114.114.114.114" # dns TYPE=Ethernet [root@web01 ~]# systemctl restart network # 安装所有软件 [root@web01 ~]# yum install vim tree tar net-tools rsync nfs-utils -y部署网站示例
[root@web01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo [root@web01 ~]# yum ma [root@web01 ~]# yum install nginx -y [root@web01 ~]# mkdir -p /www/sczl [root@web01 ~]# cd /www/sczl # 使用xftp将web源文件上传至/www/sczl，如图：
xftp下载地址：家庭/学校免费 - NetSarang Website
# 修改nginx配置文件 [root@web01 ~]# vim /etc/nginx/nginx.conf # 修改第42行之后的路径 42 root /www/sczl; [root@web01 ~]# systemctl start nginx [root@web01 ~]# systemctl enable nginx # 测试：打开windows端浏览器输入服务端IP地址4.2 nfs服务器环境搭建
安装Centos7.9系统，替换yum源，连接xshell，过程略
关闭防火墙和selinux，设置主机名
[root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld [root@localhost ~]# vi /etc/selinux/config SELINUX=disabled [root@localhost ~]# hostnamectl set-hostname nfs01 [root@localhost ~]# reboot设置静态ip
[root@nfs01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32 # Generated by dracut initrd NAME="ens32" DEVICE="ens32" ONBOOT=yes NETBOOT=yes UUID="42fc4d6c-82c6-4cea-b683-1ad03460b5fe" IPV6INIT=yes BOOTPROTO=none IPADDR="192.168.88.201" # ip NETMASK="255.255.255.0" GATEWAY="192.168.88.2" DNS1="114.114.114.114" TYPE=Ethernet [root@nfs01 ~]# systemctl restart network [root@nfs01 ~]# yum install vim tree tar net-tools rsync -y部署共享存储，nfs01为服务端，web01为客户端
# nfs01服务端操作 [root@nfs01 ~]# yum install rpcbind -y [root@nfs01 ~]# yum install nfs-utils -y [root@nfs01 ~]# mkdir /nfsfile [root@nfs01 ~]# echo "welcome to www.openlab.com" > /nfsfile/readme [root@nfs01 ~]# chmod -Rf 777 /nfsfile [root@nfs01 ~]# vim /etc/exports # 编辑nfs配置文件，添加如下内容 /nfsfile 192.168.88.0/24(rw,sync,all_squash) [root@nfs01 ~]# systemctl start rpcbind [root@nfs01 ~]# systemctl enable rpcbind [root@nfs01 ~]# systemctl start nfs-server [root@nfs01 ~]# systemctl enable nfs-server Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.# web01客户端操作： [root@web01 ~]# showmount -e 192.168.88.201 Export list for 192.168.88.201: /nfsfile 192.168.88.0/24 [root@web01 ~]# mkdir /web_nfs [root@web01 ~]# mount -t nfs 192.168.88.201:/nfsfile /web_nfs [root@web01 ~]# cd /web_nfs [root@web01 web_nfs]# ls readme [root@web01 web_nfs]# cd ~ [root@web01 web_nfs]# vim /etc/fstab # 永久挂载 192.168.88.201:/nfsfile /web_nfs nfs defaults 0 0 [root@web01 web_nfs]# mount -a [root@web01 web_nfs]# df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 900M 0 900M 0% /dev tmpfs 910M 0 910M 0% /dev/shm tmpfs 910M 9.4M 901M 2% /run tmpfs 910M 0 910M 0% /sys/fs/cgroup /dev/sda3 17G 1.9G 16G 12% / /dev/sda1 1014M 144M 871M 15% /boot tmpfs 182M 0 182M 0% /run/user/0 192.168.88.201:/nfsfile 17G 1.6G 16G 9% /web_nfs4.3 backup服务器环境搭建
安装Centos7.9系统，替换yum源，连接xshell，过程略
关闭防火墙和selinux，设置主机名
[root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld [root@localhost ~]# vi /etc/selinux/config SELINUX=disabled [root@localhost ~]# hostnamectl set-hostname backup [root@localhost ~]# reboot设置静态ip
[root@backup ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32 # Generated by dracut initrd NAME="ens32" DEVICE="ens32" ONBOOT=yes NETBOOT=yes UUID="2deb6621-2f08-4460-a97b-15b50c47221d" IPV6INIT=yes BOOTPROTO=none IPADDR="192.168.88.202" # ip NETMASK="255.255.255.0" GATEWAY="192.168.88.2" DNS1="114.114.114.114" TYPE=Ethernet [root@backup ~]# systemctl restart network [root@backup ~]# yum install vim tree tar net-tools rsync mailx -y修改rsync配置文件
# 注意：配置文件中下列注释要删除 ！！！！！！！ [root@backup ~]# vim /etc/rsyncd.conf uid = rsync # 用户 gid = rsync # 组 use chroot = no # 程序安全设置 max connections = 200 # 客户端连接数 timeout = 300 # 超时时间 pid file = /var/run/rsyncd.pid # 进程号文件位置 lock file = /var/run/rsync.lock # 进程锁 log file = /var/log/rsyncd.log # 日志文件 fake super = yes # 无需rsync以root身份运行，允许接受数据 [backup] path = /backup # 目录 ignore errors # 有错误时忽略 read only = false # 可读可写 list = false # 阻止远程列表 hosts allow = 192.168.88.0/24 # 允许IP hosts deny = 0.0.0.0/32 # 禁止IP auth users = rsync # 用于认证的账户 secrets file = /etc/rsync.password # 存放用户和密码的文件根据配置文件设置
# 创建rsync账户及共享目录并修改目录属主为rsync [root@backup ~]# useradd -M -s /sbin/nologin rsync [root@backup ~]# mkdir /backup [root@backup ~]# chown -R rsync /backup # 开机并启动服务 [root@backup ~]# systemctl enable --now rsyncd [root@backup ~]# ps -ef | grep rsync root 1333 1 0 15:09 ? 00:00:00 /usr/bin/rsync --daemon --no-detach root 1335 1261 0 15:09 pts/0 00:00:00 grep --color=auto rsync # 创建rsync虚拟账户名和密码,并赋予密码文件600权限 [root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password [root@backup ~]# chmod 600 /etc/rsync.password4.4 配置备份脚本
配置web01客户端本地备份脚本：
web01客户端主机需要打包备份的内容：
[root@web01 nginx]# tree /var/log/nginx # 日志 /var/log/nginx ├── access.log └── error.log 0 directories, 2 files [root@web01 nginx]# tree /www # 网站主数据 /www ├── sczl │ ├── css │ │ ├── animate.min.css │ │ ├── common.min.css ……………………………… # 以及定时任务和备份脚本源文件 ：/var/spool/cron/root、/etc/rc.local、/server/scripts编写备份web01服务器的脚本
[root@web01 ~]# mkdir /backup [root@web01 ~]# mkdir -p /server/scripts[root@web01 ~]# vim /server/scripts/backup.sh #!/bin/bash # Date:2025-2-19 # Author:Andy # Mail:andy@126.com # Function: Regularly backup data from web servers # Version: V1.0 Date=$(date +%F_Week0%w) # 定义时间方式 Host_IP=$(ifconfig ens32 | awk '/inet / {print $2}') # 获取IP,注意网卡名 Backup_Dir="/backup/" # 本地备份路径 Backup_Server_IP=192.168.88.202 # 备份服务器的IP # 创建指定目录和IP的目录 [ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP # 输出提示信息 echo ${Date} ${Host_IP} start backup ...... # 按要求打包备份所有本地重要文件 cd / &&\ tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\ tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\ tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\ tar zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz www/ &&\ tar zcf $Backup_Dir$Host_IP/nginx_logs_${Date}_tar.gz var/log/nginx/ &&\ # 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性 find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag # 把备份推送到备份服务器 rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup --password-file=/etc/rsync.password # 删除7天以前的所有本地备份数据 find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f echo "Local backup successful, the backup files have been pushed to the backup server"[root@web01 ~]# vim /etc/rsync.password # 客户端建立认证的文件密码如下： rsync123 # 注意：只写密码 [root@web01 ~]# chmod 600 /etc/rsync.password # 密码认证文件必须为600测试
[root@web01 ~]# bash /server/scripts/backup.sh 2025-02-19_Week03 192.168.88.200 start backup ...... Local backup successful, the backup files have been pushed to the backup server # 在backup服务器中可以看到推送的数据 [root@backup ~]# ls /backup/192.168.88.200/ 2025-02-19_Week03.flag nginx_logs_2025-02-19_Week03_tar.gz sys_file_bak_2025-02-19_Week03_tar.gz www_2025-02-19_Week03_tar.gz配置nfs01客户端本地备份脚本：
nfs01客户端主机需要打包备份的内容：
[root@nfs01 ~]# tree /nfsfile/ # 共享目录数据 /nfsfile/ └── readme # 以及/var/log/message文件、mount -l 挂载信息编写备份nfs01服务器的脚本
[root@nfs01 ~]# mkdir /backup [root@nfs01 ~]# mkdir -p /server/scripts[root@nfs01 ~]# vim /server/scripts/backup.sh #!/bin/bash # Date:2025-2-19 # Author:Andy # Mail:andy@126.com # Function: Regularly backup data from nfs servers # Version: V1.0 Date=$(date +%F_Week0%w) # 定义时间方式 Host_IP=$(ifconfig ens32 | awk '/inet / {print $2}') # 获取IP,注意网卡名 Backup_Dir="/backup/" # 本地备份路径 Backup_Server_IP=192.168.88.202 # 备份服务器的IP mount -l > /var/log/mount.log # 挂载日志 # 创建指定目录和IP的目录 [ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP # 输出提示信息 echo ${Date} ${Host_IP} start backup ...... # 按要求打包备份所有本地重要文件 cd / &&\ tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\ tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\ tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\ tar zcf $Backup_Dir$Host_IP/nfs_${Date}_tar.gz nfsfile/ &&\ tar zcf $Backup_Dir$Host_IP/mount_logs_${Date}_tar.gz var/log/mount.log/ &&\ # 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性 find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag # 把备份推送到备份服务器 rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup --password-file=/etc/rsync.password # 删除7天以前的所有本地备份数据 find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f echo "Local backup successful, the backup files have been pushed to the backup server"[root@nfs01 ~]# vim /etc/rsync.password # 客户端建立认证的文件密码如下： rsync123 # 注意：只写密码 [root@nfs01 ~]# chmod 600 /etc/rsync.password # 密码认证文件必须为600 [root@nfs01 ~]# ls -ld /etc/rsync.password -rw-r--r-- 1 root root 9 Feb 19 16:40 /etc/rsync.password测试
[root@nfs01 ~]# bash /server/scripts/backup.sh # 在backup服务器中可以看到推送的数据 [root@backup ~]# ls /backup/ 192.168.88.200 192.168.88.2014.5 配置定时任务
web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上
# 查看crond服务状态，默认已安装 [root@web01 ~]# systemctl status crond ● crond.service - Command Scheduler Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled) Active: active (running) since Thu 2025-02-20 09:00:05 CST; 11min ago Main PID: 1119 (crond) CGroup: /system.slice/crond.service └─1119 /usr/sbin/crond -n ………………………………………………………… # 注意若未安装可执行： [root@web01 ~]# yum install crontabs# 编辑定时任务 [root@web01 ~]# crontab -e # 添加: # crond-id-001:data backup 00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1 # 若出现定时任务如下信息不用处理： no crontab for root - using an empty one crontab: installing new crontabnfs01服务器过程同上
backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的
[root@backup ~]# mkdir -p /server/scripts [root@backup ~]# cd /server/scripts/ [root@backup scripts]# vim /server/scripts/del_bak_data.sh #!/bin/bash # Date:2025-2-20 # Author:Andy # Mail:andy@126.com # Function: Delete all backup data from 180 days ago, but save every Monday # Version: V1.0 Backup_Dir="/backup/" # 删除7天前的压缩包和flag文件，但是每周一的不删 find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*" -mtime +7|xargs rm -f # 删除180天前的所有压缩包和flag文件 find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f # 注意：Backup_Dir:-/tmp表示检查环境变量 Backup_Dir 是否已设置。如果设置了，就使用其值；如果没有设置，就使用默认值 /tmpbackup服务器配置定时任务，实现服务端180天前数据自动删除
[root@backup ~]# crontab -e # crond-id-003:data backup 00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&14.5 数据传输完整性验证与监控告警
验证数据完整性：
backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。
[root@backup scripts]# vim send_mail.sh
#!/bin/bash
# Date:2025-2-20
# Author:Andy
# Mail:andy@126.com
# Function: Verify the integrity of backup files
# Version: V1.0
Date=$(date +%F_Week0%w)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)" # 定时检查备份结果的文件
Admin_Mail=31131*****@qq.com # 管理员邮箱
find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >> $Check_Log
if [ -n "cat $Check_Log" ]
then
mail -s "$Date backup data info" $Admin_Mail < $Check_Log
else
echo "$Date backup data error,pls check it." > $Check_Log # 如果结果文件不存在，日志信息变化，报错
mail -s "$Date backup data info" $Admin_Mail < $Check_Log
fi
cp $Check_Log{,.ori} && > $Check_Log
配置邮件告警：
安装邮件服务
[root@backup ~]# yum install mailx -y配置qq邮箱ssl证书
[root@backup ~]# mkdir -p /root/.certs [root@backup ~]# cd /root/.certs [root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt [root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt [root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt [root@backup .certs]# certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt Notice: Trust flag u is set automatically if the private key is present.配置邮件服务
[root@backup .certs]# vim /etc/mail.rc # 最后一行后添加以下内容： set from=31131*****@qq.com set smtp=smtps://smtp.qq.com:465 # ssl端口默认465 set smtp-auth-user=31131*****@qq.com set smtp-auth-password=fnejfbek******** # 授权码 set smtp-auth=login set nss-config-dir=/root/.certs/ # 设置证书路径 set ssl-verify=ignore # 启用加密ssl传输in
测试邮件服务：
[root@backup ~]# echo "testmail" | mail -s "testmail" 31131*****@qq.com
[root@backup ~]# bash /server/scripts/send_mail.sh
自此，我们成功搭建了一个自动化备份全网服务器数据平台，实现了对企业重要数据的自动化备份、远程存储、完整性验证以及邮件告警功能。