BandPilot：朝着在AI集群中实现性能与资源竞争意识兼顾的GPU调度迈进

《IEEE Transactions on Parallel and Distributed Systems》：BandPilot BandPilot: Toward Performance- and Contention-Aware GPU Dispatching in AI Clusters

　　

摘要：

现代的多租户AI集群越来越依赖于通信，这些集群的性能主要由大量且多轮的GPU间集体通信驱动。因此，GPU调度器为每个租户选择的物理GPU子集在很大程度上决定了作业的有效集体带宽，从而决定了其性能上限。现有的调度器主要依赖于静态的、基于拓扑的启发式方法，这些方法优先考虑GPU资源的紧凑性，假设最小化物理距离可以最大化通信带宽。然而，我们发现这种假设常常因复杂的系统级瓶颈（如非线性的网络接口饱和和节点间链接的异质性）而失效。本文提出了一种既考虑性能又考虑竞争情况的GPU调度原语，该原语能够优化多租户AI集群的有效集体带宽。具体来说，该原语通过分层设计从稀疏的NCCL测量数据中学习出一个高效的带宽模型。在模型的指导下，调度器使用一种基于平衡的启发式方法作为快速的前端，并在控制器预测进一步优化有益时调用精简的搜索算法。为了考虑多租户之间的干扰，该调度器会将候选分配与位于同一主机上的其他作业虚拟合并，以保守地估计共享瓶颈的容量并预测因竞争而降低的带宽。在32个GPU的H100集群和异构模拟环境中的测试表明，与最佳参考方案相比，该原语的带宽效率提高了90%至97%，相比基于拓扑紧凑性的方法，平均效率提高了20%至30%。

引言

随着大规模语言模型（LLM）训练和推理等通信密集型工作负载的发展[1][2]，大规模多加速器AI集群已成为现代云基础设施的基石。在这些环境中，对于通信密集型工作负载而言，分配给GPU之间的有效通信带宽是决定端到端性能的关键因素[3][4]。随着云服务提供商越来越多地将GPU作为一种服务提供，租户通常会请求一组GPU，资源管理器必须从共享的GPU池中分配具体的GPU子集。这一看似简单的GPU调度决策实际上决定了作业的物理通信拓扑，从而为后续的所有通信优化设定了上限。不慎的初始分配可能会不可逆转地限制性能，无论后续是否改进了集体通信算法或拥塞控制措施。虽然具备拥塞感知能力的架构可以在流量被接纳后减轻运行时的竞争情况，但它们无法消除调度时错误选择GPU所造成的结构性瓶颈。