SensaScale: 一种基于资源敏感性的深度神经网络训练任务截止期限感知调度器

《Future Generation Computer Systems》：SensaScale: A deadline-aware scheduler for DNN training tasks based on resource sensitivity

　　

摘要

深度神经网络（DNN）在计算机视觉和自然语言处理等领域的大规模部署，使得DNN训练成为现代云数据中心的主导型工作负载。现有的调度框架通常按照GPU分配比例来配置辅助资源——尤其是CPU和内存。然而，DNN工作负载对辅助资源的敏感度存在显著差异，导致频繁的截止时间违规。为解决这一低效问题，我们提出了SensaScale，一种感知截止时间的DNN调度器，它显式地利用了辅助资源敏感度。SensaScale根据作业对CPU和内存的性能依赖将其分类为敏感型和 insensitive 型，并通过多阶段协同调度框架对其进行编排。具体而言，作业按最晚开始时间（LST）排序，基于资源互补性在每个类别内进行配对，并使用结合截止时间感知的资源调整机制的安全回填策略进行调度。这种设计有效提升了应用性能。在基于Helios和Philly追踪数据的工作负载上，分别在每节点16块GPU和每节点8块GPU的集群配置下进行的实验评估表明，SensaScale优于Chronus基线方案，服务级别目标（SLO）违规率平均降低74.22%，平均作业完成时间（JCT）降低25.86%，平均排队时间（AQT）降低82.75%。

引言

深度神经网络（DNN）在关键任务领域——包括计算机视觉[1]、自然语言处理[2]和语音识别[3]——的快速普及，使得DNN训练成为企业和云数据中心的基础性工作负载。由于其巨大的计算强度和较长的执行时间，DNN训练通常部署在配备高性能加速器（如GPU）的大规模多租户集群基础设施上。此类架构有助于多个租户和生产团队之间高效共享资源，从而提高整体集群利用率[4]。

当前的DNN训练工作负载通常受严格的截止时间约束[5]。在调度过程中，作业指定GPU资源需求，只有满足这些条件时才会被分配到服务器。现有的调度方法可分为两大类：一类基于Kubernetes[6]和YARN[7]等传统大数据系统，另一类则利用针对DNN作业特性定制设计的GPU调度器[8]、[9]。后者采用专用调度算法来提高资源利用率并优化JCT、AQT和截止时间满足率等性能指标。具有代表性的截止时间感知调度器通过作业优先级排序和基于截止时间的资源管理，在减少截止时间违规方面取得了显著改善[5]。然而，大多数现有的截止时间感知调度器仍然将GPU视为主导资源，并按GPU分配比例分配CPU和内存等辅助资源。

近期的研究表明，这种GPU比例分配对于DNN训练工作负载而言可能并非最优。大量训练执行时间通常花费在数据摄入和预处理上，这些操作高度依赖CPU和内存资源[10]、[11]。因此，DNN作业对辅助资源表现出异质性的敏感度。这一现象不仅在学术研究中有所观察，也在Google[12]和Meta[13]等公司的生产级部署中得到证实。资源敏感型调度器如Synergy[14]表明，根据作业特定的敏感度分配CPU和内存资源可以显著提高集群吞吐量并降低JCT。例如，图像和视频处理模型在分配更多CPU资源时可能获得显著的性能提升，而诸如GNMT[15]等模型即使辅助资源分配低于GPU比例水平也几乎不出现性能退化。这些发现表明，辅助资源不应与GPU分配刚性绑定。

尽管取得了上述进展，现有的截止时间感知调度器与资源敏感型调度器之间仍存在一个重要差距。截止时间感知调度器主要关注满足作业截止时间，但通常依赖于GPU比例式的辅助资源分配，从而忽略了资源敏感度的异质性。相比之下，Synergy等资源敏感型调度器优化的是吞吐量导向的目标，包括集群效率和JCT，而未明确考虑截止时间约束或SLO满足率。因此，如何在具有截止时间约束的DNN训练工作负载下有效利用资源敏感度仍不明确，在此场景下调度决策必须同时兼顾作业紧迫性和截止时间满足。

受这一观察启发，我们研究了DNN训练工作负载的截止时间感知资源敏感调度问题。我们的核心洞见是，辅助资源应根据资源敏感度和截止时间紧迫性共同进行分配，而非与GPU分配静态绑定。通过联合考虑这些因素，调度器可以更好地将辅助资源分配与作业需求相匹配，从而提高作业在截止时间前完成的概率。

为此，我们提出了SensaScale，一种面向DNN训练集群的截止时间感知且资源敏感的调度器。SensaScale显式地利用了作业间在CPU和内存敏感度上的异质性，同时将截止时间感知纳入调度决策。它根据作业的辅助资源敏感度动态分组作业，并构建互补调度单元，以更好地将辅助资源分配与多样化的作业需求相匹配。此外，SensaScale持续监控作业进度，并在检测到临近截止时间的作业时执行截止时间感知的资源调整。通过将资源敏感度与截止时间感知调度相结合，SensaScale提高了截止时间满足率，同时确保了自适应且有效的辅助资源分配。

本工作的主要贡献总结如下：

• •
  我们识别了DNN训练工作负载在截止时间感知调度与资源敏感型调度之间的一个此前未被探索的差距，并提出了联合考虑截止时间紧迫性和辅助资源敏感度的截止时间感知资源敏感调度问题。
• •
  我们提出了SensaScale，一种截止时间感知且资源敏感的调度器，它集成了敏感度感知的作业分组、互补资源匹配和自适应截止时间感知资源调整，以在多资源集群约束下提升SLO满足率。
• •
  我们实现了SensaScale，并使用真实的DNN训练工作负载进行了广泛的基于追踪的评估。实验结果表明，SensaScale在多种工作负载组合和集群负载条件下显著减少了SLO违规，同时改善了JCT和排队性能。

各章节摘要

背景与动机

在本节中，我们回顾DNN训练资源调度的背景，形式化辅助资源敏感度和最优需求等关键概念，并分析现有调度方法的主要局限性。基于此分析，我们引入了一种资源敏感的集群调度框架，旨在提高截止时间合规性。

设计

我们提出了SensaScale，一种针对DNN训练工作负载的调度器，它利用作业级别的辅助资源敏感度来实现有原则的多资源分配并提高截止时间满足率。现有的GPU比例调度器忽略了DNN作业对CPU和内存等辅助资源的异质敏感度，导致截止时间违规增加。SensaScale通过联合考虑（i）辅助资源敏感度和（ii）截止时间来克服这一局限

评估

在本节中，我们使用生产集群追踪数据进行基于追踪的模拟，系统评估SensaScale调度器的有效性、鲁棒性和实用性。评估旨在回答以下关键研究问题。

• •
  整体有效性与泛化性：与现有调度器相比，SensaScale在不同工作负载组成、作业类别和GPU集群配置下能多有效地提升截止时间满足率？
• •
  的影响

相关工作

DNN作业的辅助资源敏感度。近期的研究表明，DNN训练作业对CPU和内存等辅助资源表现出显著的敏感度。Jeon等人[18]分析了生产GPU集群追踪数据，观察到不同作业间主机资源使用的异质性，其中CPU通常未被充分利用，而内存则高度争用。基于这一洞见，他们倡导采用具备隔离机制的内存感知调度来减轻共置作业间的干扰。在此基础上，Mohan等人

结论

本文提出了一种新颖的截止时间感知调度器SensaScale，它利用DNN作业对辅助资源的敏感度来降低SLO违规率。核心创新在于将作业分类为敏感型和 insensitive 型，并据此设计一组协同调度机制。首先，我们提出了一种动态重组策略，基于资源互补性将敏感型和 insensitive 型作业进行配对，并通过联合考虑来进行调度决策

CRediT作者贡献声明

Wu Kaimin：撰写——原稿、软件、方法论。Wang Xinhua：撰写——审阅与编辑、方法论。Peng Zhiping：撰写——审阅与编辑、监督指导。Xie Rong：撰写——审阅与编辑、监督指导。Lin Weiwei：撰写——审阅与编辑、监督指导、获取资金。Li Keqin：撰写——审阅与编辑、监督指导。

利益冲突声明

作者声明，他们不存在任何已知的可能影响本文所报告工作的财务利益竞争或个人关系。

致谢

本工作得到广西重点研发项目（2024AB02018）、广东省自然科学基金项目（2025A1515010113）、山东省自然科学基金项目（ZR2024LZH012）以及PCL重大项目（PCL2025A08和PCL2025A11）的资助。

Wu Kaimin目前正在华南理工大学计算机科学与工程学院攻读硕士学位，地点为中国广州。她的研究兴趣包括云计算、GPU调度和深度学习工作负载调度。

Wu Kaimin|Wang Xinhua|Peng Zhiping|Xie Rong|Lin Weiwei|Li Keqin

华南理工大学计算机科学与工程学院，中国广州，510006