工业物联网（IIoT）中的协作任务调度：进化算法与深度强化学习的比较研究

《Journal of Industrial Information Integration》：Collaborative task scheduling in IIoT: A comparative study of evolutionary algorithms and deep reinforcement learning

研究基于工业物联网信息集成工程，对比进化算法与深度强化学习在制造、计算及混合任务调度中的性能，提出显式与隐式两种算法形式化方案，验证其在大规模动态场景下的效果差异，为工业物联网任务调度算法选型提供基准。

　　在工业信息集成工程（Industrial Information Integration Engineering, IIIE）的视角下，工业互联网（Industrial Internet of Things, IIoT）为工业系统的资源整合提供了一个统一的框架。通过云、边、设备之间的协作，IIoT能够将各类资源进行高效整合，从而实现高度灵活且协同的生产流程。在这一背景下，任务调度成为提升工业系统性能与效率的关键环节。任务调度的目标在于将制造任务与计算任务合理分配到异构资源上，以实现整体任务完成时间（makespan）和能耗的最小化。然而，由于任务之间的复杂依赖关系以及资源配置的多样性，这种调度问题具有极高的挑战性。

为了解决这一问题，本研究对七种进化算法（Evolutionary Algorithms, EAs）和七种深度强化学习（Deep Reinforcement Learning, DRL）方法进行了全面评估，涵盖了三种具有代表性的IIoT任务调度场景：制造任务调度（Manufacturing Task Scheduling, MTS）、计算任务调度（Computational Task Scheduling, CTS）以及混合任务调度（Hybrid Task Scheduling, HTS）。通过构建不同规模的任务调度实例，我们对所有14种方法在两种算法形式（显式形式和隐式形式）下的表现进行了系统分析。研究结果显示，EAs在性能稳定性方面具有优势，而DRLs则在泛化能力和推理速度上表现更为突出，特别是在大规模或动态调度场景中。此外，隐式形式的算法在两种算法类别中普遍展现出更好的解的质量。这些发现为IIoT环境中算法的选择与设计提供了宝贵的参考，并强调了算法形式策略对优化结果的重要影响。

在IIoT迅速发展的背景下，任务调度在优化互联工业系统的性能和效率方面扮演着至关重要的角色。IIoT制造任务通常由一系列制造设备处理，而生产过程中的计算任务则可能涉及数字孪生技术或由云端或边缘服务器执行的预训练人工智能模型。在这种情况下，如何将这些制造任务与计算任务高效地调度到异构资源上，成为提升IIoT工业生产效率的关键。任务调度的复杂性源于任务之间的交互关系以及工业场景的多样性。在IIoT环境中，设备数量庞大且种类繁多，从简单的传感器到复杂的机器，它们在不同的工作条件下运行，产生大量数据并以高速率传输。这些特性使得传统任务调度方法难以适应，而需要更强大的调度机制来应对变化的工作负载和实时约束。此外，选择适合特定IIoT场景的调度方法也是一项具有挑战性且成本较高的任务。

现有的研究通常将制造任务和计算任务分开进行调度，这种做法将协同任务调度问题分解为灵活作业车间调度问题和计算卸载问题。然而，当制造任务与计算任务之间的交互性增强时，这种独立调度方式会导致资源抢占、负载不平衡以及较大的通信开销。因此，采用一种综合调度方式，能够同时考虑制造任务和计算任务的调度，展现出更优的实践效果。与此同时，提出一种具有更强泛化能力的方法，以适应多样化的工业场景，也成为当前研究的重要方向。

在IIoT任务调度领域，常用的调度方法包括数学方法、进化算法（EAs）和深度强化学习算法（DRLs）。随着需要调度的混合任务数量通常超过数百，数学方法因计算复杂度高而逐渐变得不适用。因此，EAs和DRLs成为解决此类复杂问题的主要手段。EAs以其问题无关的进化算子，具备良好的扩展性，适用于各种复杂的调度问题。然而，其性能往往受到任务需求和调度模型的影响，缺乏有效的领域特定信息。相比之下，DRLs通过试错机制学习问题相关的知识，并制定调度策略以获得更高的奖励。训练后的DRL策略在面对未见过的调度实例时，能够保持较高的泛化能力，从而实现快速的调度解决方案。然而，DRLs的调度质量在很大程度上依赖于训练过程和马尔可夫决策过程（Markov Decision Process, MDP）的定义，这使得其在IIoT环境中面临一定的不确定性。

鉴于传统数学方法在计算上的局限性以及IIoT环境中任务需求的频繁变化，本研究旨在填补调度解决方案在灵活性与效率之间的差距。通过结合EAs和DRLs各自的优点，我们提出了一种更具韧性和适应性的调度机制，能够有效应对现代工业系统中固有的复杂性和不可预测性。为此，我们对EAs和DRLs在三种典型调度模型上的表现进行了比较研究，以寻找最优的调度算法。本文的主要内容结构如图1所示，其中介绍了两种算法形式：显式形式（EF）和隐式形式（IF），用于建模典型的调度场景并表示EAs和DRLs的决策变量。在每个调度场景中，我们构建了三种规模的调度实例，以全面评估这些方法的调度性能。实验结果表明，方法的选择和算法形式都会显著影响最终的调度效果。这些结果和结论可作为未来在协同任务调度场景中选择和设计算法的实践基础。

在本文中，我们提出了以下主要贡献：

首先，构建了三种典型的IIoT任务调度模型，包括制造任务调度（MTS）、计算任务调度（CTS）和混合任务调度（HTS），以覆盖更广泛的调度场景。与现有研究相比，大多数工作仅关注单一调度模型，而本文通过引入多种调度模型，为IIoT任务调度提供了更全面的视角。

其次，提出了两种算法形式：显式形式（EF）和隐式形式（IF），以更有效地表示调度问题。在显式形式下，算法的输出直接反映决策变量，从而提供了一个直观的调度解决方案。而在隐式形式下，算法的输出则被视为引导任务分配的启发式因素。为了在隐式形式框架下实现协同任务调度，我们设计了四种特定的启发式策略。通过采用这两种算法形式，可以更灵活地指导调度算法的选择和计算过程。

第三，为了确保在相同算法形式下EAs和DRLs的表示一致性，我们采用了实数编码方案对EAs进行编码，并使用连续动作空间对DRLs进行建模。这种方法旨在减少算法细节对调度结果的潜在影响，从而为EAs和DRLs的比较提供更加公平的条件。此外，实数编码和连续动作空间的使用，也对需要灵活候选服务器和设备的协同任务调度问题具有显著的优势。

第四，我们在两种算法形式下对14种流行的EAs和DRLs进行了比较实验，涵盖了三种典型的调度模型。通过分析这些调度方法在不同条件下的性能差异，包括调度方法、算法形式、调度模型和实例规模，我们探讨了其背后的原因，并进一步提出了针对IIoT任务调度问题的方法选择和算法设计的建议，以适应多种工业场景。

本文的其余部分结构如下：第二部分回顾了与IIoT任务调度模型和算法相关的现有研究。第三部分介绍了三种典型的IIoT任务调度场景的系统模型。第四部分详细阐述了两种算法形式：显式形式（EF）和隐式形式（IF）。第五部分展示了数值实验的结果，分析了不同调度方法在不同条件下的表现。第六部分总结了本文的主要发现，并对未来的相关研究提出了展望。

在讨论部分，我们进一步探讨了如何进一步提升调度算法的性能，特别是在基于DRL的方法中。目前，我们的DRL实现依赖于广泛使用的基准算法和通用的神经网络架构。然而，近年来在组合优化问题的神经求解器方面取得的进展表明，结合领域特定的设计可以显著提升性能。因此，未来的研究可以探索如何将特定的工业知识融入DRL模型中，以增强其在复杂调度问题中的适应能力。此外，还可以研究如何优化算法形式的设计，以更有效地支持不同的调度模型和工业场景。

结论部分总结了本文的研究成果，指出本文对EAs和DRLs在典型协同任务调度实例中的调度性能进行了系统研究。首先，介绍了三种典型调度场景（MTS、CTS、HTS）的调度模型。然后，提出了两种算法形式（EF和IF）以表示这些调度模型。每种算法形式分别定义了DRL的MDP和EAs的编码方案。在EF下，算法的输出直接对应于决策变量，从而提供了一个清晰的调度表示。而在IF下，算法的输出则被视为引导任务分配的启发式因素，有助于提高调度的灵活性和适应性。本文的研究结果不仅揭示了EAs和DRLs在IIoT任务调度中的不同优势，也为未来算法设计和选择提供了重要的理论依据和实践指导。