P2EAS：一种轻量级预测引导在线调度器，具有安全能量感知间隙填充功能，用于异构云工作负载

《Sustainable Computing: Informatics and Systems》：P2EAS: A lightweight prediction-guided online scheduler with safe energy-aware gap filling for heterogeneous cloud workloads

　　

P2EAS将成对预测与显式在线调度相结合。安全间隙填充在不移动预留任务的情况下使用运行时间和能耗检查。P2EAS保持在线控制显式、可检查且轻量级。平均在线决策时间保持在1.6毫秒以下。

**引言**

云平台支持科学计算、在线服务、人工智能应用、工业系统和数据密集型工作负载[1],[2]。在这些环境中，到达的作业必须被分配到具有不同处理能力、执行价格、队列状态和功耗行为的虚拟机（VM）上。因此，调度决策不仅仅是选择一台可用的机器：同一个作业在一台VM上可能很快完成，但在另一台上则需要更多的时间、能源或资金成本[3]。随着基础设施变得越来越异构且工作负载到达变得越来越不可预测，作业与VM分配的优劣直接影响工作负载完成时间、作业响应时间、资源利用率、能耗和运营成本[4],[5]。这一问题在在线环境中变得更加困难。作业持续到达，通常呈突发式，调度器必须在新作业进入系统或VM变为可用时做出反应。每次事件发生时，它必须根据当前可用信息选择适当的作业-VM配对，同时保持决策时间足够短以支持反复在线运行。糟糕的分配可能使一台快速的VM被不适合的作业占用，增加其他作业的等待时间，并延长整体完成时间范围。然而，在每次事件时通过迭代优化过程评估许多备选分配方案本身也会引入不希望的调度延迟。

VM时间线上的空闲区间带来了额外的挑战。这些空闲区间可能因不规则到达、预留边界或预期完成时间与实际完成时间之间的差异而出现。它们代表了可利用的处理能力，但安全地利用它们并非易事。只有在等待中的作业能在可用区间内完成、不延迟先前预留的执行且不造成不利的能耗分配时，才应将其插入。一个仅考虑间隙持续时间的调度器可能会提高利用率，却做出糟糕的作业-VM选择。

现有研究从不同角度部分地解决了这一问题。基于队列的、优先级和回填策略因其快速、可解释和易于部署而具有吸引力。基于优先级的和最短间隙方法通过队列排序、间隙特征和面向公平性的规则来利用空闲区间[6],[7]。基于运行时的回填方法进一步使用执行时间估计来识别能够占用异构资源中可用区间的作业[8],[9]。然而，这些决策通常主要基于队列顺序、作业长度、估计运行时或间隙持续时间，对特定作业-VM分配的能耗影响了解有限。放置、整合、迁移和资源编排方法在VM或服务层面考虑能耗、性能和资金成本[10],[11]。这些方法解决的是基础设施层面的资源管理，而P2EAS则聚焦于现有资源池内频繁发生的任务级作业-VM调度事件。

多目标调度方法提供了更丰富的搜索机制来平衡能耗、性能、成本和资源利用率[12],[13],[14]。其他优化框架在异构云环境中结合任务分类、元启发式搜索和多个调度目标[15]。基于学习的调度器也支持雾计算、云计算和工业计算系统中的自适应决策[16],[17],[18]。然而，许多这些方法依赖迭代搜索、重复适应度评估、迁移、策略学习或相对复杂的在线决策过程。因此，未解决的差距并非缺乏能耗感知调度、预测或回填作为独立的思想。真正未解决的问题是如何将它们组合在一个任务级在线调度器中，使其能够使用每个当前作业-VM选项的详细信息，同时保持直接且可理解的决策路径。这样的调度器应在传统规则最缺乏信息的地方使用预测，但不应用优化循环或端到端学习策略取代每一次调度事件。

为解决这一问题，我们提出了P2EAS（预测引导的、基于优先级的、能耗感知的调度）。其核心思想是将预测与控制分离。两个回归模型在离线阶段从历史作业-VM执行记录中训练，用于估计候选分配的运行时间和执行能耗。在线运行期间，这些预测并不自行做出最终调度决策。相反，它们为显式调度规则提供成对特定的信息，该规则可以被检查、调整并以低开销执行。

在每次调度事件中，P2EAS构建当前可用的作业-VM配对，并将预测运行时、预测能耗、作业到达顺序和作业规模组合成一个归一化的优先级分数。这使调度器能够区分那些从队列状态看可能相似但在异构VM上执行后果不同的分配方案。当检测到空闲区间时，相同的成对预测被重新利用以确定等待中的作业是否能安全占用该区间。插入仅在预测运行时间保守地适合间隙且预测能耗低于VM特定阈值时才会被接受。现有预留不被移动。

该设计以协调的方式解决了在线环境中的两个主要挑战。优先级规则通过考虑每个候选作业在每台可用VM上的可能行为来改进普通调度。间隙填充规则在不将每个短作业都视为安全插入的情况下，改进了碎片化VM时间线的使用。由于两个决策都使用固定预测器和显式规则，P2EAS避免了在线模型训练、基于种群的搜索和迭代策略优化。

在实际的云环境中，P2EAS可以作为资源控制器内部的一个调度组件运行。在作业到达或VM空闲事件发生时，控制器获取就绪队列、VM特性、当前可用性和预留时间线。已训练的预测器估计相关候选配对的运行时间和能耗，之后调度器应用常规优先级调度或安全间隙填充。选定的分配方案随后传递给VM管理器或执行层。已完成作业的记录可以被收集用于定期离线重新训练，同时在线调度路径保持不变。这种架构允许预测层演进而无需替换显式控制逻辑。它特别适用于操作性和工业云环境，在这些环境中调度路径必须保持稳定、可检查且具有响应性，同时预测模型从执行遥测数据中定期更新。

因此，P2EAS的显著特征并非任何单一组件本身，而是这些组件在任务调度层面的连接方式。与仅基于优先级的间隙调度器相比，它评估实际作业-VM配对的预期运行时间和能耗。与基于运行时的回填相比，预测同时影响正常调度和机会性插入。与迁移导向的资源管理器相比，它不需要工作负载迁移来利用短期执行机会。与端到端强化学习调度器相比，其在线行为保持为透明的预测、归一化、评分和可行性检查序列。

本文的主要贡献如下：

- 我们提出了一种事件驱动的调度架构，将离线作业-VM预测与在线控制分离，使学习得到的运行时间和能耗估计能够支持调度决策，而无需用端到端学习策略取代调度器。
- 我们开发了一种归一化的多因素调度规则，利用预测运行时、预测能耗、到达顺序和作业规模来评估当前作业-VM配对，从而将资源异质性和队列级考量纳入直接的在线决策中。
- 我们提出了一种保守的能耗感知间隙填充机制，使用成对运行时间和能耗预测来识别安全插入，同时通过显式的时间与能耗可行性条件保留先前预留的执行。
- 我们提供了实用集成模型和复杂度分析，展示固定预测服务和显式调度规则如何能够集成到事件驱动的云控制器中，而无需在线重新训练或迭代优化。

本文其余部分组织如下。第2节回顾资源管理、回填、多目标和辅助学习的调度。第3节呈现系统模型和提出的P2EAS框架。第4节描述实验方法和评估协议。第5节报告并分析实验结果。最后，第6节总结全文并概述未来研究方向。

**章节摘要**

**相关工作**

与P2EAS最直接相关的文献涵盖四个相互连接的研究方向：能耗、性能和成本感知的资源管理；在线回填和间隙感知调度；多目标和面向鲁棒性的调度；以及辅助学习的自适应调度。这些方向根据其决策机制和控制层级而非应用领域进行组织。这种组织方式将任务级在线调度与更广泛的决策区分开来。

**所提方法和系统模型**

P2EAS专为异构虚拟机（VM）池上独立、非抢占式作业的事件驱动调度而设计。该方法不对VM进行预配、迁移或整合。相反，它在已有VM池内部运行，每当发生调度事件时确定应将哪个等待作业分配给哪台VM。核心设计原则是将预测与调度控制分离。历史执行记录在离线阶段用于训练运行时间和能耗模型。

**实验方法**

实验研究旨在评估P2EAS在通用事件驱动调度环境下的表现。模拟器表示持续作业到达、非抢占式执行、异构VM容量、预留时间线、忙闲能耗以及按活跃时间计费。所有对比调度器在每个随机种子下接收相同的工作负载和基础设施状态。评估考察所提框架的四个方面。首先，它比较主要的……

**评估结果**

除非另有说明，所有结果均为50次配对运行的算术平均值。完整对比图表在相同工作负载和基础设施条件下报告相同的十二个调度器。专门的置信度图随后聚焦于结构上最接近的在线备选方案，并报告一个标准差。能耗值以102 J为单位表示，活跃时间资金成本以mUSD为单位报告，对于总完工时间、能耗、成本和平均响应时间而言，较低值更优。

**结论与未来工作**

本文介绍了P2EAS，一种面向异构云环境的轻量级在线调度器。所提框架将离线预测与在线控制分离：两个梯度提升模型估计候选作业-VM配对的运行时间和执行能耗，而显式事件驱动规则使用这些估计进行多因素优先级调度和安全的能耗感知间隙填充。因此，调度器可以使用详细的配对特定信息而无需依赖在线模型……

**CRediT作者贡献声明**

Navid Khaledian：写作——审阅与编辑，写作——原稿撰写，方法论，形式化分析，概念化。Shiva Razzaghzadeh：写作——审阅与编辑，验证，监督，方法论，形式化分析。Zeynab Haghbayan：可视化，验证，软件，方法论。

**生成式人工智能及写作过程中AI辅助技术的声明**

在准备本工作期间，作者使用了AI辅助工具进行语言润色和编辑。作者审阅并验证了手稿，并对其内容承担全部责任。

**资助**

本研究未获得公共、商业或非营利机构资助机构的任何专项资助。

**利益冲突声明**

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

Navid Khaledian | Shiva Razzaghzadeh | Zeynab Haghbayan