动态WCMP+Flowlet ALB:双引擎驱动智算网络负载均衡

发布于:2025-06-21 ⋅ 阅读:(14) ⋅ 点赞:(0)

传统网络架构的困境

在 AI 算力爆发的今天,数据中心网络正经历前所未有的流量形态变革。传统 Clos 网络架构依赖逐流 ECMP 均衡算法,其设计逻辑基于 “大量短流” 假设,通过五元组 HASH 实现负载分担。然而 AI 训练场景呈现出鲜明的流量特征:

  • 大象流主导:少数长流占据 60% 以上带宽(如图 1),HASH 均衡导致流量集中于少数路径
  • 时延敏感性:参数同步的通信模式要求微秒级时延稳定性,传统网络丢包会引发模型训练时间指数级增长
  • 多租户隔离需求:GPU 资源池化催生网络切片需求,传统 VRF 实现方式难以与动态负载均衡协同

这种结构性矛盾导致传统网络在 AI 场景下陷入 “高带宽利用率与低转发效率” 的悖论,亟需从架构层实现突破。

智能网络架构的核心技术突破

动态智能选路技术构建了 “感知 - 决策 - 执行” 的闭环体系,通过三大创新重构网络行为逻辑:

全维度路径质量感知体系

1、硬件级实时测量

基于 ASIC 寄存器实现百毫秒级带宽 / 队列统计(如图 2),通过 SAI 接口实时采集端口转发计数,经加权平均算法(近时数据权重提升 30%)生成链路负载指数。

图2

2、纳秒级时延追踪

转发时延计算因子基于INT(In-band Network Telemetry)技术,精度可达纳秒级。HDC(High Delay Capture)是一种能捕获 ASIC 中经历高延迟的数据包信息的 INT 技术。

通过使用 HDC,星融元交换机能够捕获任何超过用户指定延迟阈值的数据包的延迟信息,并将原始数据包的前150字节连同元数据(包含出入端口、时延等关键信息)作为 HDC 数据包发送到收集器。

图3

动态智能选路技术在星融元交换机上开启 HDC 功能,并将 CPU 作为 HDC 的收集分析器,通过分析 HDC 报文实现高精度测量交换机转发时延,并将时延信息作为路径质量评价因子,提高路径质量评价精度。

命令行配置 HDC 功能控制INT进程运行,之后通过 socket 连接进行收包循环,将收取到的报文进行解析并将关键信息(出入端口、转发时延等)写入数据库。

动态智能决策引擎

1、BGP 协议深度扩展

定义 Path Bandwidth 扩展社区属性(类型 0x0005),将路径质量以 IEEE 浮点格式(GB/s)编码于 BGP 报文中。在 Leaf-Spine 两层架构中,通过三级权重计算(Leaf 下行口 ×Spine 口 ×Leaf 上行口)生成端到端路径质量值(如图 4)。

图4

2、动态 WCMP 权重计算

突破传统 ECMP 的等价分配模式,根据路径质量动态生成权重比例。例如双路径质量值 38:80 时,自动计算 3:7 的流量分配比(如图 5),并通过 BGP 实时同步全网,实现秒级负载均衡调整。

图5

细粒度流量调度执行

1、Flowlet 级智能负载均衡

ALB 技术在 ASIC 层实现微流级调度,实时监测出端口负载与队列时延(如图 6)。当单链路负载超过阈值时,自动将后续 Flowlet 导向低负载路径,配合端口 fail-over 机制实现零丢包故障切换。

图6

2、多租户隔离增强

通过 VRF 与 PRE ACL 联动实现流量切片:源 IP 匹配 VRF 网段时自动打标(如图 7),确保不同租户流量在独立路由表中转发,同时支持跨 VRF 的动态质量感知,保障 GPU 资源池的隔离性与调度效率。

图7

智算网络的应用场景

动态WCMP如何化解流量洪峰

在 256×400G GPU 集群中,采用 1:1 收敛比的两层 Clos 架构(如图 8),传统 ECMP 因无法感知路径状态,常导致单 Spine 节点拥塞率超 45%。动态智能选路技术通过全路径质量计算,将拥塞率控制在 3% 以内,同时提升带宽利用率 22%。

图8

假设 Server1 的 GPU1 要与 Server17 的GPU1通信,按照传统 ECMP 的逻辑,流量会选择Spine中的一个然后到达 Leaf17,传统 ECMP 不会感知路径实时状态,所以 AI 场景下的少量大象流极易被均衡到同一 Spine 上从而导致 Leaf1 上行端口拥塞甚至出现丢包。

如果交换机开启了动态智能选路技术,当 Server17 将 GPU1 的路由信息通过 Leaf17 向整网通告时,首先 Leaf17 会将自身通往 Server17-GPU1 的路径质量附带在路由通告中发给所有 Spine,然后每个 Spine 将自身通往 Leaf17 的路径质量累积在路由通告中发给 Leaf1,Leaf1 将自身通往 Leaf17 的路径质量继续累积在路由信息中,此时 Leaf1 上有到达 Server17-GPU1 的全路径以及每条路径对应的路径质量,Leaf1 先去掉路径质量异常的路径(如质量较低路径认为不适合进行流量转发),再根据综合路径质量计算剩余路径的权重,形成 WCMP,指导流量转发。

Flowlet级负载均衡

以上述 256 个 400G 的 GPU 组网为例,如果使用了动态智能选路技术,但是不是每台设备都适合使用动态 WCMP,则交换机会动态选择基于 flowlet 的 ALB 进行流量的负载均衡。整网形成 ECMP 之后,ASIC的 ALB 功能会实时测量 ECMP 组中不同链路上负载和时延,将 flowlet 路由到负载更⼩或时延更低的链路上。

如图所示,Leaf1 上的多个指向Spine的链路同时负载流量,当红色接口负载流量较高,转发时延过长,此时 ASIC 基于 flowlet 做 ECMP 时,会自动跳过红色路径对应的出口,直到该出口负载和转发时延恢复正常值之后,ECMP 才会再选中该端口进行流量转发。

更多详细内容,请访问星融元官网https://asterfusion.com/


网站公告

今日签到

点亮在社区的每一天
去签到