REX：一种基于统计验证的批量缩放以及样条引导的贝叶斯优化的自适应分布式训练方法，适用于异构GPU集群

《Future Generation Computer Systems》：REX: Adaptive distributed training with statistically validated batch scaling and spline-guided Bayesian optimization on heterogeneous GPU clusters

　　金亨俊|李辉民|余贤昌韩国首尔韩国大学，邮编02841，韩国摘要在异构GPU集群上训练深度神经网络时，常常会因为节点速度不平衡以及短暂的性能下降而出现空闲时间以及收敛延迟的问题。我们提出了REX，这是一个用于自适应分布式训练的运行时框架，它通过轻量级且具有统计稳定性的信号来同时调整全局批量大小和每个节点的批量大小。REX结合了基于梯度噪声规模（GNS）的指数级全局批量调整、用于每个节点调度的样条引导贝叶斯优化，以及通过两级非参数检验的事件触发式重新分配机制，以应对短暂的性能滞后问题。在CIFAR-10/100、ImageNet/ResNet-50以及WikiText-2任务上，于混合T4/V100架构的集群中进行测试，结果显示，在静态异构环境下，REX可将达到准确率所需的时间缩短50.4%，而在面临短暂性能下降时则可缩短44.2%；在ImageNet任务中，当使用4–16个GPU时，REX能使收敛速度提升15.9–25.3%，同时准确率可提高至多0.27%。此外，REX还能降低资源效率指标（RII），其控制开销保持在9%以下。这些结果表明，REX作为一种低开销、有统计依据的替代方案，能够为异构GPU云环境提供稳定的收敛性能和良好的扩展性。引言在异构GPU集群上的深度学习任务常常会因为节点速度不平衡以及短暂的性能下降而出现空闲时间以及收敛延迟的问题。硬件性能的差异（如T4与V100之间的区别），以及由热降频、多租户干扰或临时资源撤销等因素导致的运行时噪声，都会造成性能波动，而传统的静态或按训练轮次固定的调整方式无法有效解决这些问题[1]。我们主要研究的是同步数据并行随机梯度下降算法，因为在这种算法中，最慢的节点会拖慢整体进度，进而加剧性能波动。因此，实际应用中往往需要手动调整参数并反复试验，这不仅增加了达到准确率所需的时间，也提升了云计算成本。我们将自适应训练视为一个闭环控制问题：全局批量调整相当于执行器，梯度及时间序列统计数据则起到传感器的作用，而事件触发策略则负责在稳定性、响应速度和开销之间取得平衡。一个理想的运行时系统必须能够：(i)在适当信号出现时迅速调整全局批量大小；(ii)根据非线性吞吐量情况调整每个节点的批量大小，以平衡迭代时间；(iii)在单个训练轮次内对短暂的性能滞后做出反应，同时保持控制方式的轻量级和统计合理性。目前有一些框架已经解决了其中的部分问题。DLB[2]根据历史吞吐量数据来调整每个节点的批量大小，但其按训练轮次进行的更新无法及时反映瞬时的变化。Pollux[3]则利用梯度噪声规模趋势来调整全局批量大小，但它依赖固定的百分比递增方式（如+10%），这不仅延迟了大规模批量的优势体现，也无法解决各节点之间的批量不平衡问题。这两种方法都无法在单个训练轮次内迅速做出反应，因此同步随机梯度下降算法会浪费GPU资源，等待最慢的节点完成计算。与那些在多个任务间运行的集群级调度器（如Sia[4]、Heet[5]）不同，本研究聚焦于任务内部的运行时自适应调整。我们提出了REX，这是一个用于异构GPU云环境下的自适应分布式训练的运行时框架。REX将三个组件整合到一个反馈循环中：•具有统计验证功能的指数级全局批量调整。REX采用指数增长-乘法递减策略来加速全局批量调整，同时通过非参数Wilcoxon符号秩检验来确认GNS指标的改善情况，从而避免过早扩大批量大小。•用于每个节点调度的样条引导贝叶斯优化算法。该算法通过轻量级的样条回归来捕捉非线性的迭代时间趋势，然后通过贝叶斯优化来寻找能够在固定全局批量大小下最小化迭代时间差异的批量分配方案。•用于缓解短暂性能滞后的事件触发式调整机制。该机制通过两级非参数检验（短窗口/长窗口；Mann–Whitney检验）来检测持续的分布变化，一旦发现此类变化，就会在保持当前全局批量大小不变的情况下，于训练轮次进行中途重新分配资源。表1总结了REX在控制方面与DLB和Pollux的差异——包括全局/局部调整、统计触发机制、训练轮次中的响应能力以及对于开销和成本的考量。在CIFAR-10/100、ImageNet/ResNet-50以及WikiText-2任务上，于混合T4/V100架构的4–16个GPU集群中进行测试，结果显示，在静态异构环境下，REX可将达到准确率所需的时间缩短50.4%，而在面临短暂性能下降时则可缩短44.2%；在ImageNet任务中，REX能使收敛速度提升15.9–25.3%，同时控制开销保持在9%以下，资源效率指标（RII）也有所降低。本文共有四项贡献：1.全局调整功能。一种经过统计验证的指数增长-乘法递减策略，能够在GNS指标有所改善时迅速调整全局批量大小，同时在存在噪声干扰时仍能保持稳定性。2.局部调整功能。一种基于样条引导的贝叶斯优化方案，它能模拟设备的非线性吞吐特性，并在固定全局批量大小的前提下平衡各个节点的迭代时间。3.对短暂性能波动的强适应性。一种两级非参数触发机制，可用于基于事件驱动的重新分配资源，能有效应对训练过程中的短暂性能下降，且误报率较低。4.高效性与实用性。该框架的控制结构非常轻量，开销低于9%，能够在各种异构环境中持续降低资源效率指标和达到准确率所需的时间，同时还提供了详细的实现细节，便于重复实验。总体而言，REX将全局批量调整、节点级调度以及事件触发控制整合在一起，形成了一种基于统计原理的、适用于异构GPU云环境的运行时解决方案。章节概要背景符号说明为什么在异构集群中需要自适应控制在同步数据并行训练中，最慢的节点决定了每次迭代的持续时间；任何节点之间的速度差异都会转化为同步等待时间，这些等待时间累积起来就会导致整体训练时间延长。在混合T4/V100架构的系统中，我们经常观察到两种现象：一是当全局批量大小过小时，训练初期会出现资源利用率不高的情况；二是训练过程中会出现短暂的性能下降，而那些按固定轮次运行的控制器却无法应对这类情况。这两种现象都会提高资源效率指标和达到准确率所需的时间，尤其是在拥有4–16个GPU的系统中（见图3、图2）。这些观察结果促使我们设计了REX的运行时架构本节介绍了REX的整体运行时结构和控制逻辑，这是一种为异构GPU集群优化的自适应分布式训练框架。该系统将全局批量调整、本地工作负载调度以及落后节点检测功能整合到一个统一的反馈循环中。图4展示了该框架的高层控制流程。收敛速率分析在本节中，我们在一系列假设的基础上分析了REX的收敛特性，这些假设既考虑了随机梯度下降算法的标准条件，也体现了我们方法的自适应特点。实验方法我们将REX与三种具有代表性的分布式训练方法进行了对比，每种方法都侧重于体现自适应功能的不同方面。这些基准方法可以作为对我们框架的功能性测试，帮助我们区分局部调整和全局调整机制各自的作用。BSP是使用Horovod实现的，它属于非自适应基准方法，它会设置固定的全局和局部批量大小，代表着完全同步且均匀的训练模式。DLB则通过重新分配资源来实现局部自适应功能。混合同步与调度策略一些分布式训练框架放弃了严格的整体同步机制，以此来减少落后节点的影响并提升整体吞吐量。SSP[10]用于限制数据过时现象，而DSSP[11]则会根据系统状况动态调整这一限制值。GSSP[12]和CASP[13]则通过将节点分组的方式来平衡通信开销和数据过时问题，Sync-Switch[14]则会根据训练阶段的不同在ASP和BSP两种模式之间切换。Prague[15]则利用对硬件特性的了解来优化节点分组，从而减少通信不平衡现象。这些方法都有助于提升系统的性能。局限性及实际应用考虑REX在那些最慢节点决定迭代时间的同步数据并行训练场景中效果最为显著。在存在持续异构性或短暂性能下降的情况下，REX可以通过全局批量大小和各节点批量大小的联合调整来有效减少空闲时间。而在那些节点性能高度一致且稳定的集群中，由于静态批量分配已经相当高效，REX带来的优势就会相对较小。此外，REX还假设在较短的时间范围内，节点间的吞吐量差异仍然是可以观察到的。结论我们提出了REX，这是一种用于异构GPU云环境下的自适应深度学习训练的运行时框架。通过结合指数级批量调整、基于样条的性能建模、贝叶斯优化以及两级统计检测技术，REX无需手动调整即可解决节点性能波动和工作负载不平衡的问题。在多种不同的任务上的测试表明，REX能够在保持较低控制开销的同时提升训练的收敛速度和资源利用效率，因此它是一种实用的解决方案。CRediT作者贡献说明金亨俊：撰写——初稿、可视化、验证、软件开发、方法设计、实验分析、形式化分析、概念构思。李辉民：撰写——审阅与编辑、监督指导。余贤昌：撰写——审阅与编辑、监督指导、项目管理、资金筹措。利益冲突声明作者声明自己没有已知的、可能影响本文研究结果的财务利益或个人关系。致谢本研究部分得到了韩国政府信息通信技术规划与评估机构（IITP）的资助，相关资助项目编号为RS-2025-02220502，项目名称为“人工智能半导体计算资源分解与整合技术”，资助比例为50%；另外还得到了同一机构的另一项资助，编号为IITP-2026-RS-2022-00156439，项目名称为“ICT挑战与高级人力资源开发网络”，资助比例同样为50%。金亨俊于2023年在韩国首尔韩国大学获得计算机科学与工程硕士学位，目前他仍在同一所学校攻读博士学位。他的研究兴趣包括分布式深度学习以及大规模计算系统的资源优化问题。