如何正确设计 TCP/IP 流式应用层网络协议

发布于:2024-04-27 ⋅ 阅读:(15) ⋅ 点赞:(0)

在我多年打黑工的职业生涯之中,除了在盛大游戏出身的半个老师(做游戏服务器的)曾今深入的教过我,关于正确的 TCP/IP 流式应用层网络协议的设计理念,前往其它公司打黑工、包括一些的开源项目,见识到的 TCP/IP 应用层网络协议设计似乎都有一些潜在问题。

很多人虽然设计的 TCP/IP 应用层协议解决了沾包的问题,但是并没有对 CC 有一定预防措施,也没有对错误的协议有预防措施。

举个例子:

很多人涉及 TCP/IP 应用层协议,只是在每个包前面加上两个字节、或三个/四个字节代表长度字节,也不考虑大小端平台的差异性,也没有考虑别人会不会恶意的 CC 挂着大量的长连接,每个TCP 链接实例保护一般是在7200秒(2个小时),多数操作系统一般能够保证至少 30 分钟链接是存活的。

那么是否可以完全可以挂着大量的 CC 来耗死服务器系统的资源,并且经过抓包分析测试应用层协议的长度,假设为两个字节代表长度,人家完全有必要每个挂起的链接,只发送 65534 个字节数据包,让服务器一直处于缓冲区数据保持读入的状态,而资源无法得到释放。

你算算一个G内存能够支撑多少个64字节,而且这不是成比例的,应用层分配64K内存,往往需要至少多占用一个页的内存空间大小,因为内存分配是需要加上链表帧头、校队帧尾的,所以分配64K,意味着至少需要分配 64K+4096K 的内存资源(这里还没有算页头这些占用的内存空间)。

单纯指望三方防火墙,而开发人员不做一些处理是有些搞笑的,别人是正常的网络链接,也是在给服务器跑流量的。

而且在现代的网络环境之中,充斥着大量恶意轮段 TCP 应用层协议扫端口的情况,不做一些预防措施是典型错误的想法。

所以一个正确的 TCP/IP 应用层协议需要确保以下两个点:

1、帧头(关键帧字)

2、长度

帧头字节的目的,人们可以理解为判定协议是否为程序所需的,例如:帧头(0x2A 关键帧字)为我们设计的应用层协议 “KF 关键帧字”,那么当读入的第一个字节不是 0x2A,那么可以理解立即关闭链接,不在需要处理后续的行为。

正确的 TCP/IP 协议读入是片段读入的,而不是直接读入一个完整帧头,这是不正确的,因为你并不知道这个帧是否为伪造的,如果你完整读入,那么在这个帧头没有完整被读取完毕之前,程序都将处于 pending 状态,而持有的资源也没有办法得到释放。

若只按照上述只在帧头加上这两个部分,并不能缓解:

可以针对某个 “关键帧字” 的 TCP 端口扫段,这个时候人们应该引入 “效验核” 的概念,每个帧头都需要验证效验合。

那么可以缓解这类情况,但需要注意一点:CC的工具链基本只是连接上服务器,并不做数据发送的动作,而发送数据数据均为抓包所得。

程序预防普通CC,基本服务器对每个连入TCP链接正确计时,当超时没有正确完成某些行为就应该理解关闭链接,防止服务器应用过多的占用内核资源被占满。

在全球范围内这个时间都不应该超过五秒,国内期望尽快回收设定值为1秒,是比较合理的,用户在国内网络环境之中,通常一秒钟以内,客户端都没有发送有效数据过来,那么基本可以判断是被人 CC 之中了,当然你会说弱网环境的问题。

在弱网环境之中 RTT 往返延迟时间,通常不会超过 2 秒时(算上丢包),而两秒钟足够用户完成弱网环境下的服务器认证行为了,而且你要知道当TCP能够弱化到2秒才完成,那么基本意味着这个链接在丢失一次客户端就会成为 “链接被积极拒绝问题”,因为 TCP 最大只允许重传 3~5 次,普遍只会重传三次,所以那么设定在三秒没有完成,立即关闭链接即可。

须知:弱网不等于没有网络。

关于 TCP 协议重传公式相关的文章可以参考以下两篇文章。

TCP系列13—重传—3、协议中RTO计算和RTO定时器维护 - lshs - 博客园 (cnblogs.com)

第14章 TCP超时与重传:RTT与RTO概念;RTO计算的经典方法;RTO计算的标准方法;超时重传;快速重传;SACK;DSACK - 雲淡風輕333 - 博客园 (cnblogs.com)

类似像开源的 KCP 这类控制协议算法在RTO计算上跟TCP是没有多大区别的,只是系数上会有一些的差异。

比如: 

https://github.com/skywind3000/kcp/blob/master/ikcp.c#L559

(7 * kcp->rx_srtt + rtt) / 8 在 KCP 之中这句换到 TCP 之中则大约等于: (8 * rx_srtt + rtt) / 8 这个样子,区别上不是很大,只是 KCP 的重传时间要比TCP小,当然也意味着 KCP 相对会消耗更多带宽。

但应用层过于复杂的协议设计是没有意义的,这会消耗更多的宝贵的硬件CPU资源,应用层TCP协议设计这些部分也只不过是减少了,被一定 CC 拖垮系统资源的问题,减少服务器对于错误链接的预防措施。

但好一点的实现方式是需要带上掩码计算,即客户端发送到服务器的数据包都应带上掩码,进阶一点需要补充时间效验,以便服务器防止抓包工具搞得CC攻击。

那么一个相对完整且较为安全得 TCP/IP 应用层协议帧头就类似以下这样:

1、关键帧字

2、时间帧字

3、掩码帧字

4、效对合帧字

5、帧长度字节

6、帧载荷数据

而只有长度两个、三个、四个字节得 TCP/IP 应用层协议是不安全得,当然无论如何都需要做无效长时间挂起得 CC 链接中断检查,即在 X 个时间内没有完成第一个验证有效包得情况,而为了减少上述帧头占用得网络宽频开销,因为在网络传输之中,我们一般只看有效数据载荷得长度,帧头通常属于无效数据这一类。

另外需要说明:

效验核是需要包含完整帧头、及载荷数据一起计算,而不是只包含帧载荷数据,掩码需要计算整个帧,就像在 RFC 6455 - The WebSocket Protocol (ietf.org) 之中客户端向服务器发送得数据一样,系统学习成熟的 TCP/IP 应用层协议设计是很有意义得。

所以人们应当在设计 TCP/IP 应用层时,对于第一个握手帧做非常复杂处理是合理得,但对于握手帧完成后得载荷帧却并需要,因为这会产生大量无效得宽频占用,这是权衡得手段,在中国大陆这种带宽非常昂贵得情况,基本就是买带宽送服务器硬件,所以合理得设计 TCP/IP 应用层协议及权衡利弊变得尤为重要。


网站公告

今日签到

点亮在社区的每一天
去签到