《High-Confidence Computing》:DERIR: DPU-Empowered Reliable and Intelligent Routing for RDMA load balancing in AI data centers
编辑推荐:
大规模分布式人工智能(artificial intelligence, AI)工作负载会在源、目的地和并行路径之间耦合拥塞,而流量突发和恢复会随时间改变网络状况。因此,可靠的远程直接内存访问(remote direct memory access, RDMA)
大规模分布式人工智能(artificial intelligence, AI)工作负载会在源、目的地和并行路径之间耦合拥塞,而流量突发和恢复会随时间改变网络状况。因此,可靠的远程直接内存访问(remote direct memory access, RDMA)路由需要分布式的、具有历史感知的遥测,并且必须遵守报文顺序和交换机资源约束。研究人员提出了DERIR(DPU赋能的可靠智能路由,DPU-Empowered Reliable and Intelligent Routing),这是一种DPU-交换机协同设计的多径路由框架,融合了时空网络状态。端点DPU将当前和最近的流统计信息排列成源-目的地矩阵,并使用多智能体深度强化学习来选择预期系统收益最大的流。源架顶式交换机将当前本地队列延迟与平滑的单字节下游反馈相结合。目的交换机在RDMA网络接口卡(RDMA network interface card, RNIC)交付之前修复有界的报文重排序。研究人员在NVIDIA BlueField-2 DPU和Spectrum-4可编程交换机上实现了DERIR,并在一个4元100 Gbps RDMA over Converged Ethernet version 2(RoCEv2)Fat-tree测试床上进行了评估。在该测试床上,DERIR将平均流完成时间(flow completion time, FCT)至少降低了23.85%,P99.99 FCT降低了超过21.8%。它还将有效带宽利用率提高了9.3%–14%。这些结果表明,基于分布式状态的选择性路由可以在限制转发、缓冲和重排序成本的同时利用路径多样性。
大规模分布式AI工作负载使网络成为作业完成时间的关键因素。RDMA虽提供低延迟高吞吐,但其可靠传输依赖无损、保序的以太网传递。AI流量在源、目的和并行路径间耦合拥塞,且突发与恢复动态变化,导致可靠RDMA路由必须融合分布式、历史感知的遥测,并严格约束报文顺序和交换机资源。现有ECMP保序但哈希冲突易造成链路不均;包喷洒适应快但引发重排序;流级路由保序却难以应对密集RDMA流量。这些方法无法同时满足快速适应、稳定顺序和低开销。为此,研究人员提出了DERIR框架,将DPU与可编程交换机协同,在间隔级和包级分层决策:端点DPU负责识别高影响流,源ToR(source top-of-rack, SToR)进行路径选择,目的ToR(destination ToR, DToR)生成反馈并修复有界重排序。在BlueField-2/Spectrum-4测试床上的结果表明,DERIR可显著降低FCT并提高有效带宽利用率,验证了选择性路由的优越性。
研究人员采用的核心方法包括:MDDFI(multi-agent deep reinforcement learning for designated-flow identification)采用集中训练、分散执行(CTDE, centralized training and decentralized execution)范式,通过多尺度卷积和自注意力处理源-目的矩阵,估计每条流的边际效用并依据目的地重排缓冲余量动态设定标记预算;QDFA-ERPS(queue- and downstream-feedback-aware enhanced random packet spraying)在SToR上结合即时本地队列延迟与经指数加权移动平均(EWMA, exponentially weighted moving average)平滑的单字节下游压力值,先限制在顺序安全路径集内,仅当持续拥塞时进行有界power-of-n随机重路由;DToR实现基于序列边界的有界重排序修复,并将占用状态量化为压力/余量反馈。训练语料来自GEANT、Alibaba和BUPT超算中心流量,硬件测试床为4元100 Gbps RoCEv2 Fat-tree,由NVIDIA BlueField-2 DPU与Spectrum-4可编程交换机构成。
### 流完成时间
在混合大模型流量与20%–90%负载扫描下,DERIR平均FCT至少降低23.85%,高负载下P99.99 FCT降低超过21.8%。与全喷洒变体DERIR-FS对比发现,不进行指定流选择的全包级喷洒会耗尽转发和重排资源,导致高负载下平均及尾FCT恶化,表明路径多样性只有在动作速率受包序和缓冲约束时才有益。
### 丢包率
在90%负载下,DERIR将P99.99丢包率控制在2.79%以下。DERIR-FS因无差别喷洒产生大量乱序包,使转发队列和重排缓冲过载,高负载下丢包显著上升。这说明单纯均衡路径占用无法保证RoCEv2的可靠交付,而余量受限的指定流选择和有序路径选择能有效抑制重传触发。
### 有效带宽利用率
排除重传、故障通知等非有效流量后,DERIR在高负载下维持最高有效带宽利用率,相比其他方案提升9.3%–14%。ECMP因哈希冲突使路径利用不足,DERIR-FS则因重传和排队浪费容量。DERIR通过选择性指定流和目的地重排修复,将更多字节转化为实际完成的应用数据,证明了平衡路径占用不等于有效吞吐。
### Incast微基准测试
在多个源同时向一个接收者发送1 MB流的瞬态拥塞中,DERIR利用远端压力和余量反馈降低标记预算,保持与RoCELet、Gemma相近的尾FCT和丢包,同时保留了比ECMP更高的路径多样性。DERIR-FS因将所有流喷洒到多条路径,重排缓冲压力剧增,导致尾延迟和丢包上升。该实验显示,结合源和目的端观测能避免自适应路由放大拥塞。
讨论部分指出,消融实验证实选择性指定是DERIR优于全喷洒的关键;下游一字节反馈补充了SToR无法感知的目的端争用信息,且通过时间平滑避免振荡;有界重排序机制将路径适应成本显式暴露给DPU和SToR,使重排占用成为限制后续动作的资源信号。原型要求可编程源/目的ToR、具备间隔级推理能力的DPU以及承载重路由元数据的报文头;当拓扑或模型接口固定时,轻度漂移可通过基于现有策略的轻量微调适应,而拓扑变化或严重流量分布偏移则需要完整重训练。当前量化结果适用于所评估的4元100 Gbps Fat-tree,更大规模或异构速率网络需独立校准。
研究结论可总结为:DERIR将基于DPU的流指定、基于交换机的路径选择和有界的DToR重排序修复相结合,用于RDMA负载均衡。MDDFI按预期边际效用选择流,QDFA-ERPS结合本地队列延迟与紧凑下游压力。在BlueField-2/Spectrum-4测试床上,DERIR在高负载下使平均FCT至少降低23.85%,P99.99 FCT降低超过21.8%,有效带宽利用率提高9.3%–14%,并在90%负载下使P99.99丢包低于2.79%。DERIR-FS在高负载下表现更差,说明路径多样性只有在路由动作考虑反馈有效性和目的端重排容量时才有用。这些量化结果适用于所评估的4元100 Gbps Fat-tree,更大规模或异构链路速率网络需单独标定与验证。