服务器异常数据问题解决 工具(tcpdump+wireshark+iptables)

发布于:2025-05-24 ⋅ 阅读:(21) ⋅ 点赞:(0)

问题:
某天一客户反馈,后台页面上显示的设备数据异常增长。现场实际只有2w+台设备安装了助手(客户端),但是后台显示有16w+的助手设备,并且还在持续且快速的增长。这些数据会被加载到缓存,时间久了,服务端程序内存会占用很多,并且数据库一直增加一些无用数据可能导致cpu占用高,以及页面查询卡顿。

处理流程:
我们远程后netstat -naop|grep port|wc -l 看到实际上在线的也只是8000台设备,查看页面的增长的这些助手信息,发现都是一些离线的客户端,且大部分没有ip mac信息,少部分有ip mac信息(1)。
在这里插入图片描述
说明:设备ID标识着每一个唯一的客户端,客户端使用这个唯一标识和后台服务端程序连接,服务端程序不允许同一时间两个相同设备id的程序连上来

对此,第一想到的是会不会是我们提供给测试同事用的测试工具,即模拟新助手(客户端)上报的工具在服务器环境使用,和相关维护的同事确认后,在服务器上进行查找,也没有找这个测试工具。由于这些助手都是离线状态,且数量一致在增长,那我们想到可能是某个ip上的某个程序(恶意攻击或者客户端BUG)使用唯一的设备ID和服务端程序建立连接,写入新的客户端到后台服务器中,客户端会断开连接,然后以另一个新的客户端(设备ID)连接到后台,重复如此。那么也可以理解为频繁的和后台服务器程序握手挥手,重复着握手挥手动作。

于是在服务器上使用tcpdump -i 网卡名 -vvvv tcp port -w xxx.pcap抓取了几十秒的数据包

而后使用wireshar过滤,执行tcp.flags.fin == 1tcp.flags.syn == 1来过滤相关数据包后,将服务器相关部署环境的ip排除后,剩下了还是有好几个ip保留了下来,使用ip.addr == xxx 发现这几个ip都在这20s内和服务器握手成功后,主动向服务器发送FIN包断开后又重新和服务器握手建立连接。

这个时候不清楚是这几个其中的哪一个ip或者哪几个ip导致的,原来想着在服务器上多抓几次包并且拉长抓包时间在进一步筛选,但前面(1)中说了有少部分增长的助手是有ip信息的,这个ip正好在刚刚过滤出来的几个ip之中。

于是抱着试试的心态,我们使用iptables -A INPUT -s ip -j DROP 来把这个ip发到服务器上的包全部丢弃掉,接着我们观察一段时间的数据库发现设备概要数量不在增长,而后使用iptables -F清空规则继续观察数据库发现设备概要数量又在增加。

至此确认了是这个ip的问题导致后台的助手(客户端)数量不断增长。要求现场同事排查这个设备是否安装了助手,还是有可疑的进程(恶意程序)。服务器暂时使用iptables添加规则阻断这个ip的数据包。(本文相关命令的ip 端口 使用其他符号代替)


网站公告

今日签到

点亮在社区的每一天
去签到