RAWS：面向多资源约束下任务调度的基于强化学习的自适应加权评分框架

《Computers & Industrial Engineering》：RAWS: a reinforcement learning-based adaptive weighted scoring framework for task scheduling under multi-resource constraints

　　

摘要现代工业系统由于多资源约束而面临日益严峻的任务调度挑战，这些约束的特征是资源类型间强耦合以及随时间变化的稀缺性。任务分布的内生偏态，加上波动的资源供需动态和复杂的冲突结构，进一步加剧了调度问题的复杂性。因此，传统的启发式和学习型调度方法在适应性、泛化能力和决策透明度方面面临重大挑战。为解决这些问题，本文提出了 RAWS（Resource- and Anomaly-aware Weighted Scoring，资源感知与异常感知加权评分），这是一种专为多资源约束环境量身定制的参数级自适应任务调度框架。RAWS 将调度过程统一为任务评分与排序问题。首先，它构建了一个统一的对数效用评分模型，将调度利润、资源消耗和任务异常特征整合为一个结构化的排序标准。其次，它设计了一种低维参数化策略表示，包含少量连续参数，以自适应地控制在决策过程中的资源敏感性和异常抑制。此外，引入了一种多步尝试（Multi-step Attempt）机制，以增强单步马尔可夫决策过程的稳定性并提高全局探索能力。在任务规模从 20 到 1000 的实验结果，以及在不同冲突强度、资源供给模式、真实集群跟踪和卫星调度场景下的测试表明，RAWS 在总调度利润和任务完成性能方面始终优于所选的代表性启发式和强化学习基准，即使在大规模场景下也保持了较低的计算开销。

引言随着工业互联网、智能无人系统及空天一体化信息基础设施的快速发展，严格资源约束下的任务调度已成为工业工程中的核心挑战，因为众多复杂系统必须协调有限资源以满足动态运营需求 (Klein et al., 2024)。在这些系统中，任务通常具有明确的执行窗口限制，其执行可能同时消耗包括能源、存储和通信在内的多维度资源。调度决策必须在有限资源下协调多个任务的执行顺序和资源分配，以提高整体系统调度利润 (Zhou et al., 2024)。低地球轨道卫星任务调度是该问题的一个典型实例：卫星必须在有限的可见窗口内处理来自灾害响应、农业监测和侦察等领域的观测请求。每个任务的可行性不仅取决于其时间窗口，还取决于多种资源（包括能源、星上存储容量和下行时间段）的同时可用性 (Chatterjee and Tharmarasa, 2022, Jiang et al., 2025)。由于这些资源是有限的，且在轨道运行期间无法实时补充，实际可调度的任务集通常远小于总请求数。类似的机制广泛存在于其他应用背景中，包括边缘计算 (Jia et al., 2025)、柔性制造 (Dauzère-Pérès et al., 2024, Meng et al., 2025) 和无人系统协同作业 (Duan et al., 2025)。

从调度建模的角度来看，这些实际需求可以抽象为一类具有滑动时间窗口和多资源约束的并行机调度问题 (Li & Ou, 2024)。在此问题中，多个并行执行单元在有限时间内提供有限的资源服务，任务只有在满足时间窗口可行性和多资源可行性的情况下才能被调度。这种扩展的并行机调度问题的一个显著特征是，其调度可行性不仅取决于任务时序，还严重依赖于多资源供需关系。任务在执行期间通常同时消耗几个不可替代的资源维度，且不同任务在资源需求结构和利润水平上表现出显著差异。此外，系统的整体资源供给能力通常受限于物理条件或运营周期，难以支持所有任务的并发执行，从而在任务之间产生强烈的资源竞争和冲突结构。在这种情况下，并非所有任务都能被调度，调度决策的核心问题变为在竞争性资源环境中有效选择和排序任务，以最大化整体系统调度利润。

本文将上述具有滑动时间窗口和多资源约束的并行机调度问题统称为多资源约束任务调度。随着任务数量、资源维度和冲突结构的增加，此类问题的解空间迅速扩大，表现出强烈的 NP 难特性。这一特性要求调度方法不仅在合理的计算时间内生成可行解，而且在任务分布和资源供需结构发生变化时保持稳定的调度性能。

针对此类问题，已提出了多种方法，包括精确算法、启发式和元启发式算法等传统调度算法，深度学习、强化学习等学习型算法，以及自适应加权算法 (Hao et al., 2024)。精确算法保证最优性，但存在指数级计算复杂度，使其无法适用于大规模实例。启发式算法提高了效率，但严重依赖手工规则，在问题结构变化时适应性有限。深度强化学习方法在自动捕捉复杂的任务 - 资源映射方面显示出潜力，但在该领域面临关键挑战，包括行动空间迅速扩大、数据依赖性强、可解释性弱、跨场景泛化能力低以及缺乏调节结构性异常任务的显式机制。自适应加权方法虽然提供了更好的可解释性，但通常依赖于静态或手动调整的系数，缺乏对动态资源稀缺性的数据驱动适应性。

为解决上述问题，本文提出了一个名为 RAWS 的多资源约束任务调度评分框架。该方法集成了由强化学习驱动的资源敏感性建模和异常感知优先级调整，对所有待处理任务进行评分和排序。这种方法在保留启发式调度器计算效率的同时，能够自适应地响应不同的资源供需条件和任务结构特征。本文的主要贡献总结如下：

(1) 提出统一的参数化任务评分模型，实现资源感知与异常感知的协同决策。该模型将任务利润、资源需求、冲突结构和异常程度整合到一个对数效用表达式中。与传统加权启发式依赖静态或手动调整系数不同，RAWS 端到端地学习资源敏感性权重和异常抑制参数。这在无需手动调整的情况下提供了参数级的自适应和可解释任务排序。

(2) 引入参数级策略表示以降低调度决策复杂度。与传统通过 O(N) 到 O(N2) 行动空间直接建模任务级决策的 RL 调度方法不同，RAWS 将调度策略表述为由固定维连续参数向量控制的排序函数，将策略参数空间的维度降低到 O(1)。这将策略复杂度与任务规模解耦，显著降低了行动空间对任务规模的依赖性，增强了方法的稳定性和可扩展性。

(3) 设计基于 PPO 的多步尝试机制以提高策略学习稳定性。传统的单步 MDP 调度器由于一次动作直接给出完整调度，存在高方差和短视决策的问题。为解决这些问题，我们提出了一种多候选参数采样和最优选择机制，在不引入额外推理开销的情况下，增强了参数空间中的探索深度并降低了策略方差。

(4) 通过系统性实验验证 RAWS 的性能、泛化能力和决策透明度。在各种任务规模、冲突结构和资源供给模式下进行了广泛的实验。结果显示，RAWS 总体上优于所选的比较方法。此外，消融实验和案例分析表明，评分参数变化与调度决策行为之间存在清晰的数学对应关系。

章节摘要

相关工作在本节中，我们对现有的多维资源约束任务调度问题的方法进行了系统的回顾和分析。该领域的研究沿三条主线进展：奠定理论基础的传统调度方法、近年来快速发展的学习型调度技术，以及自适应加权调度方法。我们在本节末尾总结了现有工作的局限性，并提出了...

问题建模如表 2 所示，调度器可能会接收一组具有不同利润、执行窗口、持续时间和资源需求的候选任务。尽管所有任务都具有潜在价值，但仅有两个容量为 100 的资源载体，加上重叠的执行机会，阻止了系统执行每个任务。这些任务之间存在冲突。最优的调度决策是将任务 2 和 4 分配给载体 a，将任务 3 分配给载体...

方法论在本节中，我们正式介绍了我们提出的方法，资源感知与异常感知加权评分 (RAWS)，该方法通过建模可学习的资源敏感性和异常感知优先级调整，实现多资源约束任务调度的自适应优化。其核心在于，RAWS 采用统一的评分模型，将调度问题重新表述为一小权重参数的配置，其优化通过强化学习进行。...

实验与结果本章通过一系列受控实验，对 RAWS 在多资源约束任务调度问题上的表现进行了全面评估，评估了其性能和泛化能力。第 5.1 节详细介绍了实验设置、数据生成和评估指标。第 5.2 节提供了 RAWS 在小规模实例上调度行为的数值示例。第 5.3 节考察了训练过程的收敛特性，随后...

结论本文通过提出 RAWS，一个将启发式调度结构与深度强化学习相结合的自适应加权框架，解决了多维资源约束任务调度问题。该方法构建了一个统一的对数效用评分模型，将调度利润、资源消耗和任务异常严重程度结合为一个数学上定义良好的任务优先级排序标准。它进一步引入了低维行动空间...

CRediT 作者贡献声明史岳：写作 – 审阅与编辑，写作 – 初稿，可视化，软件，形式分析，数据整理，概念化。罗赫：写作 – 审阅与编辑，监督，资源，方法论，资金获取，概念化。曹欣：写作 – 审阅与编辑，验证，项目管理，数据整理。陈宇轩：写作 – 审阅与编辑，调查，形式分析，数据整理。杨康：验证，监督，方法论。岳子轩：...

未引用参考文献Yan 等 (2024)。

利益冲突声明作者声明，他们没有已知的竞争经济利益或个人关系，这些关系可能被认为影响了本论文中报告的工作。

致谢本工作得到了国家自然科学基金的支持，项目编号 72571094、71971075 和 72271076。

史岳 | 罗赫 | 曹欣 | 陈宇轩 | 杨康 | 岳子轩 | 张雨云 | 王国强

合肥工业大学管理学院，中国 合肥 230009