MixloadSched：一种针对云数据中心混合工作负载的、具备干扰感知能力且节能高效的调度方法

《Future Generation Computer Systems》：MixloadSched: An interference aware and energy efficient scheduling method for mixed workloads in cloud data centers

　　李建卓|林薇薇|吴海杰|陈家赫|杜端阳|李克勤中国华南理工大学计算机科学与工程系，广州，510000摘要随着云计算规模的持续扩大，混合托管策略的广泛应用显著提升了资源利用率；然而，这也带来了严重的性能干扰问题，而此类场景下的能源管理往往被忽视。为解决这些挑战，本文提出MixloadSched——一种针对混合工作负载的、具备干扰感知能力且节能的调度方法。该方法采用延迟重排序策略，对到达的批处理任务进行缓冲和重新排序，从而扩展调度器的时间窗口和全局决策范围。在此基础上，我们设计了基于优先级的任务配对机制，并利用随机森林模型对干扰成本与服务器能效进行联合评估，构建统一的优化目标以指导任务分配。与以往仅单独处理干扰或能源问题，或为扩大决策范围而牺牲有限延迟的学习型调度方法不同，MixloadSched将这些机制整合为单一的非迭代流程，同时实现干扰抑制、能效提升以及任务延迟控制在合理范围内。在真实的阿里巴巴业务数据上测试表明，相较于最优秀的干扰感知调度基准方法（Horus和PISM），MixloadSched平均可将LRACPI降低约3.3%，集群能耗降低1%，同时保持每个任务的调度开销在15微秒以下。在大多数评估场景中，该方法均属于帕累托非支配解，在服务质量与能源效率方面可与专用调度方法相媲美，且整个框架轻量级、无需迭代。这些结果为实现调度效率、服务质量与能效之间的良好平衡提供了有效方案，为云原生环境提供了高效轻量的资源调度解决方案。引言随着大型语言模型和人工智能应用的快速发展，云计算基础设施在计算性能和能效方面面临着前所未有的挑战。现代数据中心不断扩张，其能耗已达到惊人水平。根据国际能源署的数据，全球数据中心的年电力消耗量已超过某些国家的总用电量。在许多超大规模数据中心中，能源支出占运营成本的56%以上，甚至接近或超过硬件制造成本。在此背景下，即便小幅降低能耗也能带来可观的年度经济收益，并有效减少碳排放。因此，能效高的资源管理已成为云计算领域的核心研究方向，而作为上层应用与底层基础设施之间关键衔接点的任务调度，则起着至关重要的作用。与此同时，随着云服务用户群体的扩大，服务提供商需要满足从实时分析到离线训练等多样化的需求。为提高资源利用率并分摊单位计算成本，数据中心通常采用混合工作负载托管策略，即将具有不同优先级的各类应用——如批处理任务和对延迟敏感的长期运行应用——部署在同一物理节点上。微服务架构的兴起进一步推动了这一趋势，因为细粒度、松耦合的服务单元更适用于动态编排和密集部署。然而，虽然混合托管提升了资源利用效率，却也引发了复杂的性能干扰。某些任务的高CPU或内存带宽占用会严重影响共存于同一节点的对延迟敏感的微服务性能。这类干扰往往导致资源过度配置，进而增加能源消耗。在考虑混合托管带来的干扰问题的同时，如何实现高性能与低能耗的协同优化，仍是云原生环境中的重要挑战。现有的数据中心集群通常承载着以用户体验为导向的长期运行应用与大量重复性的批处理任务这两种混合工作负载，它们的特点如表1所示。鉴于长期运行应用对性能的极高要求，必须采用专门的调度方法来合理高效地安排这些混合工作负载，以尽量减少相互间的干扰。此外，随着数据中心规模的扩大，服务器能耗已成为不可忽视的因素，给调度方法带来了更多挑战。尽管有一些研究探讨了具备干扰感知能力的调度方法，但它们往往仅适用于特定类型的工作负载。例如，有研究为深度学习提出了基于预测的资源管理方法；还有研究利用机器学习根据任务迁移特性评估批处理任务与长期运行应用之间的干扰，进而提出主动式调度方法。这类方法虽能考虑工作负载的差异性，但却无法优化服务器的能效。相反，也有研究专注于能效提升，比如通过考虑功率峰值来优化虚拟机部署以提高服务器效率。还有一些研究则针对单一类型的干扰问题，如长期运行应用之间的相互干扰或批处理任务的性能优化。这些解决方案往往将性能与能源问题视为独立或分层的问题，缺乏能够在混合工作负载环境中同时优化两者的统一框架。此外，在处理用户提交的大量批处理请求时，传统的调度算法往往优先追求即时匹配。虽然这能缩短排队时间，但由于缺乏全局视角，往往会导致局部最优决策，从而引发严重干扰并降低能效——实际上是一种“急于求成反而造成浪费”的情况。为克服这一缺陷，一些先进方法采用了缓冲区或队列机制来实现延迟调度。这种设计让调度器能够拥有更广阔的全局视野。如图1所示，我们比较了混合托管环境下两种任务分配策略。尽管两者都旨在减少干扰，但基于队列的方法会通过延迟重新排序任务来依据资源使用情况调整顺序。实验结果表明，这种重排序方式能有效降低批处理任务与长期运行应用之间的干扰，实现更均衡的资源分配。通过牺牲一定的调度即时性，系统可以获得更好的服务质量保障和更优的资源配置，这也是我们提出基于队列的延迟调度框架的核心动机。此外，现有的调度方法在调度效率与决策质量之间缺乏有效的权衡机制，因此难以应用于那些工作负载高度动态且种类繁多的现代云原生环境。例如，基于强化学习的混合托管调度方法可以通过提前考虑未来任务的到来情况以及资源变化趋势来提升性能并降低能耗。然而，这类方法存在决策延迟过长、由于状态空间变化导致重新训练成本高昂以及可解释性差（属于黑箱系统）等问题。而那些轻量级的启发式方法虽然能提高决策效率并便于部署，但却无法利用历史数据来适应动态变化的环境。目前亟需一种能够结合启发式方法与模型训练的技术，以便在有限的决策时间内实现近乎最优的全局任务分配，从而有效平衡调度效率、服务质量与能效。本文提出了MixloadSched——一种具备干扰感知能力且注重能效优化的混合工作负载调度方法。MixloadSched的核心理念是通过轻量级机制提升全局决策质量，同时保持较低的调度开销。具体而言，它采用延迟重排序策略，对到达的任务进行缓冲和重新排序，从而扩展调度器的时间窗口和全局视野。这使得调度器能够评估更多潜在的任务-服务器组合，并明确建模性能干扰问题。在此基础上，我们设计了基于优先级的配对方法，将该任务的延迟性能与服务器的能源状态相结合，从而动态生成最优的任务分配决策。为支持这一过程，我们还提出了一种综合干扰与能源成本的评估指标，该指标将混合托管带来的性能下降与服务器的能耗特性结合起来，形成一个统一的优化目标。本研究的主要贡献如下：问题建模：我们将混合工作负载托管调度问题建模为一个多目标优化问题。该模型旨在在最大化长期运行应用性能的同时，最小化服务器集群的总能耗，为解决资源竞争问题提供了数学基础。方法框架：我们提出了MixloadSched框架，该框架包括延迟重排序机制、干扰-能源评估模型以及基于优先级的配对策略。该框架的创新之处不在于单独引入某一种组件——缓冲、基于机器学习的干扰预测以及基于能效最优点的能量评估方法都已有过相关研究——而在于如何将它们整合为单一的非迭代调度流程，从而在接近实际应用要求的延迟水平下同时控制干扰与能源消耗。具体而言：(i)延迟重排序机制将连续到达的任务转换为具有时间限制的迷你批次，并设置相应的回退机制，这样既能扩展调度器的决策范围，又避免了基于强化学习的调度方法通常会出现的无限延迟问题；(ii)干扰-能源评估模型将随机森林干扰估计器与基于能效最优点的标准化能量指数结合为一个无量纲的成本指标，使得这两个优化目标可以在同一个最小化步骤中直接比较，而无需通过分层决策或事后迁移来解决；(iii)基于优先级的配对调度器则利用(i)部分产生的有序任务列表，将大任务优先分配的原则与(ii)部分的综合评分相结合，每处理一个任务仅需O(|S|)的时间。据我们所知，此前还没有任何混合工作负载调度方法以这种方式将有序延迟重排序缓冲机制与基于随机森林和能效最优点的统一成本指标相结合；现有的方法要么只优化其中一个目标而忽略另一个，要么依赖复杂的学习型策略，而这些策略往往无法满足生产环境对任务调度延迟低于15微秒的要求。实验验证：通过使用真实世界的工作负载数据以及模拟的集群环境进行的大量实验表明，MixloadSched的性能与最先进的调度算法相当。它在大幅降低性能下降的同时提升了能效，同时还能保持极低的调度延迟和计算开销。这些结果证明了该框架能够在大规模批处理任务调度中有效平衡调度效率、任务性能与系统能效。在真实数据和合成数据上的实验表明，MixloadSched在服务质量与能效方面与最优秀的干扰感知调度方法相当，甚至在某些指标上更为优异——在真实数据上，它的CPI降低了约3.3%，能耗降低了约1%——而且所有优化都在统一的、延迟低于15微秒的调度流程中实现。此外，我们在大多数评估场景中都发现该方法是帕累托非支配解，具体各场景下的平均值与方差分析内容将在第5节中介绍。本文的其余部分结构如下：第2节回顾了云计算与任务调度领域的相关研究；第3节介绍了系统模型，并对混合托管调度问题进行了数学定义；第4节详细阐述了所提出的混合工作负载托管策略；第5节展示了基于真实数据集的仿真结果，并将MixloadSched与几种主流调度算法进行了对比；最后，第6节对整个研究进行了总结。片段摘录云计算数据中心的能效调度云计算与微服务架构在大规模数据处理以及大型模型的部署中发挥着重要作用。它们能够提供按需的算力、存储和网络资源，与微服务所要求的敏捷性和动态性完美契合，从而助力构建现代化、灵活且可扩展的软件系统。然而，这些技术仍在能效、延迟和资源分配等方面面临诸多挑战。目前关于微服务能效优化的研究主要……系统建模我们考虑的是一种混合工作负载托管场景，即批处理任务被动态部署到同时运行长期运行应用的服务器上。这种场景在业界被广泛采用，旨在通过提高资源利用率来提升能效和系统吞吐量。如图2所示，用户会向服务器集群提交一系列批处理任务请求及其对应的配置信息，这些请求是按顺序到达的。该集群由多台物理服务器组成，每台服务器上都同时运行长期运行应用和批处理任务。方法论为了解决问题(10)中的目标，我们提出了一种名为MixloadSched的、具备干扰感知能力的混合工作负载调度方法。该方法遵循轻量级和低侵入性的原则，通过启发式方式将批处理任务调度到运行长期运行应用的集群上，从而实现节能与系统性能的双重提升。该框架可以轻松集成到当前主流的容器调度系统中。如图3所示，MixloadSched的主要模块包括……实验设置我们的算法是通过基于Python的仿真框架[28]进行测试的，该框架基于一种广泛使用且贴近实际的作业数据集构建，能够模拟云计算数据中心的真实运行环境。实验在一台运行Ubuntu 20.04操作系统的机器上进行，该机器配备了Intel(R) Xeon(R) Silver 4316处理器、NVIDIA GeForce RTX 4090显卡以及64GB内存。结论本文提出了MixloadSched方法，用于解决混合工作负载托管环境中的性能干扰问题及能效低下问题。通过引入延迟重排序策略以及基于随机森林和能效最优点的综合干扰-能源评估模型，该框架能够协同优化长期运行应用的性能与集群的能效。实验结果证实，MixloadSched能够在保持极低调度延迟的同时，有效降低干扰成本和能源消耗。CRediT作者贡献说明李建卓：撰写——审稿与编辑，撰写——初稿，方法论设计。林薇薇：撰写——审稿与编辑，方法论设计。吴海杰：撰写——审稿与编辑。陈家赫：撰写——审稿与编辑，方法论设计。杜端阳：撰写——审稿与编辑，方法论设计。李克勤：写作——审阅与编辑。利益冲突声明作者声明自己不存在任何可能影响本文所报告工作的已知财务利益或个人关系。致谢本研究得到了广西重点研发计划（2024AB02018）、山东省自然科学基础研究联合基金（ZR2024LZH012）、广东省自然科学基金项目（2025A1515010113）以及中国PCL重大关键项目（资助编号PCL2025A08和PCL2025A11）的支持。李建卓于2018年获得安徽大学网络工程学士学位，目前在南华大学计算机科学与工程学院攻读博士学位。他的研究兴趣主要集中在云计算、能效优化和容器调度领域。