基于改进的CCEEMD算法的声发射技术在TC4工件机器人磨削中的新型机理分析方法 朱向业、 刘琪、 梁亮、 徐晓虎、 严思杰

《Machines》：A Novel Mechanism Analysis Method for the Robotic Grinding of a TC4 Workpiece Using Acoustic Emission Based on an Improved CCEEMD Algorithm Xiangye Zhu, Qi Liu, Liang Liang, Xiaohu Xu and Sijie Yan

　　摘要 多目标柔性作业车间调度需要在支持工业环境中实时决策的同时，平衡相互冲突的目标。然而，尽管传统的 metaheuristics 在全局搜索方面非常有效，但其高昂的计算成本限制了它们在时间敏感场景中的应用。为了解决这个问题，本文提出了一种基于双池引导的偏好条件图强化学习（DPG-GRL）方法，这是一种用于多目标柔性作业车间调度问题的编码器-解码器框架。在 DPG-GRL 中，图注意力网络编码器从异构图中提取操作和机器级别的表示，而解码器则根据偏好向量生成具有不同权衡的调度方案，使用单一训练好的策略。为了提高样本效率和训练稳定性，引入了一种双池引导机制：离线专家池为策略初始化提供稳定的行为先验，而在线精英池不断重放高质量的轨迹来优化策略。实验结果表明，与代表性的多目标进化算法（包括非支配排序遗传算法 II (NSGA-II) 和基于分解的多目标进化算法 (MOEA/D)）相比，DPG-GRL 在合成实例上的表现更优秀，且随着问题规模的增大，在解决方案质量和推理效率方面具有更明显的优势。此外，在仅使用小规模合成数据集训练的公共基准实例上的评估显示，DPG-GRL 能够快速逼近 Pareto 前沿，生成高质量的解集，并且具有很好的泛化能力，适用于未见过的实例。这些结果表明 DPG-GRL 在实时生产调度和能源意识制造领域具有潜在的应用价值。

1. 引言
作业车间调度问题（JSP）是制造系统中的一个经典组合优化问题。柔性作业车间调度问题（FJSP）通过允许每个操作在不同的机器上进行处理，显著扩展了搜索空间并增加了决策的复杂性[1,2]。虽然早期的研究主要集中在单一目标 formulation 上，如最小化完工时间，但实际生产环境通常涉及多个相互冲突的目标。特别是随着对按时交货和可持续制造的重视增加，多目标柔性作业车间调度问题（MOFJSP）——同时考虑完工时间（MT）、总延误（TT）和总能耗（TE）——变得更加符合工业需求[3]。
现有的 MOFJSP 研究仍然以 metaheuristic 方法为主，尤其是多目标进化算法（MOEAs）[4]。这些方法在全局搜索方面非常有效，并且能够提供高质量的 Pareto 前沿近似。然而，它们通常依赖于重复的种群进化和大量的目标评估，从而导致较高的计算成本。因此，尽管 MOEAs 仍然是强大的离线优化器，但它们的迭代搜索特性限制了它们在需要快速调度响应的时间敏感制造场景中的适用性。
深度强化学习（DRL）提供了一种不同的范式。通过在训练期间与环境反复交互来学习策略，DRL 可以在推理时通过直接策略应用高效地进行调度决策，这使得它非常适合在线或低延迟调度。最近的研究还表明，将 DRL 与图表示学习相结合可以改进作业-机器关系的建模，并支持 FJSP 中的端到端决策[4,5]。尽管如此，对于 MOFJSP，许多现有的 DRL 方法仍然优化一个固定的标量化目标或狭窄的偏好范围[1]。因此，学习到的策略往往针对特定的权衡进行定制，无法在单次训练过程中直接提供分布均匀的 Pareto 前沿近似。
为了解决多目标决策问题，已经探索了几种基于 DRL 的方法。基于 PDR 的方法将动作空间限制在预定义的一组调度规则内，这提高了可解释性，但限制了策略的表达能力[6,7]。多代理或多策略方法将决策过程分解为不同的目标或子问题，但通常需要多个协调的策略，并可能增加额外的训练和部署复杂性[8,9,10]。最近，偏好条件图强化学习表明，基于偏好向量的单一策略可以在推理时快速生成 MOFJSP 的 Pareto 近似解集[11]。所提出的 DPG-GRL 遵循这一通用范式，但在优化设置和训练机制上与现有方法有所不同。特别是，本文解决了 MT/TT/TE 目标设置问题，并引入了双池引导的近端策略优化（PPO）框架，以提高多偏好策略学习的样本效率和训练稳定性。在受限的、长视野调度问题（如 MOFJSP）中，稳定和高效的多偏好学习仍然具有挑战性。
另一个相关的研究方向是将进化算法和强化学习相结合。现有的混合方法主要分为两类：在第一类中，RL 用于适应性控制进化搜索，例如在优化过程中选择操作者或调整超参数[12]；在第二类中，使用 EA 生成的高质量解决方案来指导 RL 学习并提高学习效率[13]。尽管这些研究展示了结合基于搜索和学习范式的潜力，但大多数研究都集中在单一目标的 FJSP 或动态调度场景上。对于 MOFJSP，仍然缺乏一个更稳定且样本效率更高的偏好条件框架，使得单一策略能够覆盖多样化的偏好权衡，同时在部署上保持实用性。
因此，本文提出了用于 MOFJSP 的双池引导偏好条件图强化学习（DPG-GRL）。所提出的方法学习了一个单一的偏好条件策略，该策略可以在不同的偏好向量下生成具有不同权衡的调度方案。为了提高样本效率和训练稳定性，我们进一步引入了双池引导机制。具体来说，离线专家池通过重放的示范轨迹提供稳定的行为先验，而在线精英池不断重放当前策略生成的高质量轨迹以实现自我改进。通过这种方式，DPG-GRL 结合了基于图的结构化状态编码、偏好条件策略学习和体验引导的训练，形成了一个统一的框架，以实现快速的 Pareto 前沿近似。
本研究的主要贡献总结如下：
(1) 我们为 MOFJSP 开发了一种独特的偏好条件图强化学习框架，结合了异构操作-机器建模和基于 PPO 的优化，以实现多偏好下的 Pareto 近似。
(2) 我们引入了一种双池引导机制，结合了离线专家演示和在线精英重放，以提高多偏好策略学习过程中的样本效率和训练稳定性。
(3) 我们设计了一个具有轻量级解码器级别超网络条件的偏好感知编码器-解码器策略，这使得在保持共享图表示的同时，能够进行考虑偏好的决策。
(4) 在合成和公共基准实例上的实验表明，所提出的方法实现了具有明显推理效率优势的竞争性 Pareto 近似质量。

本文的其余部分组织如下：第 2 节回顾了相关工作。第 3 节介绍了问题的表述和背景。第 4 节描述了所提出的方法。第 5 节报告了实验结果和分析。第 6 节总结了本文并展望了未来研究的方向。

2. 相关工作
MOFJSP 通常被视为一个 Pareto 优化问题，旨在寻找一组非支配的权衡解决方案，而不是单一最优解[14]。现有的研究大致可以分为三类：metaheuristic 方法、基于 DRL 的方法和结合进化搜索和强化学习的混合方法。以下回顾重点关注与本研究最相关的方向。

2.1. Metaheuristic 方法
Metaheuristic 算法，特别是进化算法，长期以来一直是 MOFJSP 的主要方法，因为它们非常适合近似 Pareto 前沿并在单次运行中产生多个权衡解决方案。代表性的研究包括针对低碳柔性作业车间调度的改进版 NSGA-II 变体[15] 和针对实际生产调度场景的邻域增强离散进化方法[16]。这些方法通常能够实现强大的全局搜索性能，并在多个目标上产生有竞争力的解集。
尽管它们有效，但 metaheuristic 方法在时间敏感场景中仍存在固有的局限性。它们的性能取决于重复的种群进化、目标评估和参数调整，所有这些随着问题规模和约束复杂性的增加而变得日益昂贵。因此，尽管 MOEAs 仍然是 MOFJSP 的强大基线，但它们的迭代搜索特性限制了它们在需要快速调度响应的时间敏感制造场景中的适用性。

2.2. 深度强化学习方法
近期的基于 DRL 的生产调度方法可以大致分为三个方向：基于 PDR 的强化学习、多代理或多策略方法以及基于图的强化学习。这些方法以不同的方式提高了决策效率，但它们对 MOFJSP 的有效性仍取决于它们平衡偏好覆盖、学习稳定性和部署效率的能力。

2.2.1. 基于 PDR 的强化学习
基于 PDR 的强化学习方法通常将优先调度规则的选择视为核心动作。这种设计降低了动作空间的复杂性，并提供了更好的可解释性，特别是在动态或资源受限的调度场景中特别有用。例如，混合深度 Q 网络方法已被用于为具有运输约束的动态 FJSP 设置选择调度规则[17]，而基于 PPO 的事件驱动重调度已被探索用于应对意外的作业到达[18]。
然而，这些方法的性能在很大程度上受到规则库的覆盖范围和表达能力的限制。如果有用的调度决策没有在预定义的规则中表示，策略就无法直接发现它们。这使得基于 PDR 的方法难以在 MOFJSP 中稳健地近似多样化的 Pareto 权衡。

2.2.2. MOFJSP 的多代理方法
另一个重要方向是将调度决策分解为多个相互作用的子问题，并通过多代理或多策略学习来解决它们。在动态 MOFJSP 设置中，多代理框架已被用于分别模拟耦合决策，如作业选择和机器分配[9]。协作式多代理强化学习也被引入来平衡不同的目标偏好，如完工时间和能耗，通过权重分配机制[19]。此外，还提出了多策略深度强化学习来在不同目标权重下学习多个策略，并共同近似 Pareto 权衡[8]。
这些方法通过分解学习任务提高了灵活性和策略表达能力。然而，它们通常依赖于多个协调的策略或代理，这可能会增加训练复杂性、协调不稳定性和部署成本。更重要的是，它们没有直接解决如何学习一个能够在多样化偏好之间良好泛化的单一稳定策略的问题。

2.2.3. 基于图的深度强化学习
图强化学习（GRL）将车间状态建模为 disjunctive 或异构图，并利用图神经网络（GNN）来学习端到端调度决策的结构化表示[5]。对于绿色和低碳 FJSP，参考文献[1] 采用了 disjunctive 图表示，并提出了一种基于图注意力的方法来提高泛化能力。对于 MOFJSP，参考文献[11] 提出了一种基于偏好条件的 GRL 方法，该方法使用单一的偏好条件策略在推理时快速生成 Pareto 近似解。
这些研究表明，基于图的策略学习是 MOFJSP 的一个有前途的方向，因为它可以更好地捕捉操作-机器耦合并利用结构化表示。然而，现有的基于 GRL 的方法通常样本效率较低，训练不稳定，尤其是当需要单一策略覆盖多样化偏好时。与 Su 等人[11] 的工作相比，本研究考虑了不同的目标设置，并采用了异构操作-机器图以及轻量级的解码器级别条件策略。更重要的是，它通过双池引导的 PPO 框架更加重视样本效率和训练稳定性。这激发了引入体验引导的训练机制以改进多偏好策略学习和 Pareto 前沿近似的想法。

2.3. 混合算法
为了结合进化算法的全局搜索能力和学习到的策略的快速推理能力，EA-RL 混合方法受到了越来越多的关注。现有研究主要遵循两条路径。在第一条路径中，称为 RL 辅助 EA，强化学习用于指导进化过程，例如在线选择操作者或调整搜索策略[20,21]。这些方法可以提高进化搜索的效率，但它们仍然保留了 EA 的迭代优化框架，因此在部署时仍然计算成本较高。在第二条路径中，称为 EA 辅助 RL，进化算法找到的高质量解决方案用于指导 RL 学习[13,22]。这个想法特别适用于调度，因为好的解决方案可以作为演示进行重放，以减少早期探索的难度并提高训练稳定性。然而，这类现有研究主要关注动态调度或非 MOFJSP 变体，因此仍然缺乏适用于 MOFJSP 的稳定多偏好学习的统一框架。
总之，metaheuristic 方法可以提供高质量的 Pareto 解决方案，但计算成本较高；基于 DRL 的方法能够实现高效的推理，但在 MOFJSP 中仍然难以处理偏好覆盖和训练稳定性；现有的混合方法仅在部分程度上提高了学习或搜索效率。为了同时解决这些限制，本文提出了 DPG-GRL，它结合了偏好条件图策略学习和双池引导，以提高训练稳定性和 Pareto 前沿近似质量。

3. 前提
3.1. MOFJSP 的问题描述
本研究中考虑的多目标柔性作业车间调度问题（MOFJSP）定义如下：车间由作业和机器组成。每个工作都包括一系列按照特定技术顺序处理的操作。每个操作必须被分配到从其可行机器集中选出的恰好一台机器上。在任何时候，每台机器最多只能处理一个操作，并且一旦开始，就不能被抢占。目标是在联合确定每个操作的机器分配和每个机器上的操作处理顺序的同时，最小化三个目标，即完工时间（makespan）、总延迟（total tardiness）和总能耗（total energy consumption）。

3.2. MOFJSP的数学表述
为了清晰起见，表1总结了本文中使用的主要符号及其定义。给定一个调度方案，其对应的三目标向量定义为：
表1. 符号和定义

3.2.1. 完工时间（Makespan, MT）
完工时间定义为所有工作中最大完成时间：

3.2.2. 总延迟（Total Tardiness, TT）
工作的延迟定义为：

总延迟（TT）由下式给出：

3.2.3. 总能耗（Total Energy Consumption, TE）
总能耗（TE）由三个部分组成：处理能耗（processing energy）、空闲能耗（idle energy）和运输能耗（transportation energy）。

处理能耗（processing energy）定义为每个操作在其选定的机器上的处理功率和处理时间的累积乘积：

为了便于表达空闲能耗，我们首先定义机器的总处理时间为：

然后，空闲能耗（idle energy）由下式给出：

当同一工作的两个连续操作被分配到不同的机器上时，假设发生了机器切换事件，每次事件都会产生一个恒定的运输能耗：

3.3. 多目标优化和偏好分解
3.3.1. 帕累托优势（Pareto Dominance）和帕累托最优（Pareto Optimality）
由于这三个目标通常是相互冲突的，MOFJSP的目标不是获得单一最优解，而是识别一组非支配的折中方案。设和分别表示两个调度方案，其目标向量为和，所有目标都需要最小化。
定义1（帕累托优势）。如果两个调度方案和具有目标向量和，并且满足条件，则称方案支配。
在这种情况下，我们用表示。

定义2（帕累托最优解）。如果一个解不被任何其他可行解支配，则该解是帕累托最优的。

定义3（帕累托最优集和帕累托前沿（Pareto Front）。
所有帕累托最优解构成帕累托最优集（Pareto-optimal set），其在目标空间中的图像形成了帕累托前沿（Pareto front）：

3.3.2. 偏好建模和加权求和分解（Preference Modeling and Weighted-Sum Decomposition）
基于偏好的标量化是一种常用的技术，用于将多目标优化问题分解为一组更易处理的标量子问题。常见的标量化方法包括加权求和方法[23]、加权切比雪夫方法[24]和基于惩罚的边界交叉方法[25]。在本研究中，我们采用加权求和方法，因为它与基于偏好的PPO训练直接兼容，并且为提出的双池指导机制中的专家解决方案选择和精英轨迹排名提供了一个统一的标准。然而，这种选择可能对帕累托前沿的非凸区域覆盖有限。因此，所提出的方法旨在作为在所采用标量化下的实际帕累托前沿近似框架。在给定的偏好向量下，构建一个聚合函数将多目标问题转换为单目标子问题。基于偏好的标量目标定义如下：

在这里，表示满足问题约束的所有可行调度方案的集合，表示从偏好集中抽取的偏好向量。然后可以将原始的三目标问题分解为由不同偏好向量参数化的单目标约束子问题集。通过从偏好集中选择多个偏好向量并解决相应的子问题，可以获得一组覆盖多种折中的非支配解决方案，从而近似帕累托前沿。

3.4. MOFJSP的异构图表示（Heterogeneous Graph Representation of MOFJSP）
为了更明确地描述MOFJSP中操作与机器之间的耦合以及动态调度状态，我们将车间状态在时间表示为异构图。
如图1所示，包含两种类型的节点：操作节点和机器节点。边集包括技术优先级边（technological precedence edges）和操作-机器可行处理边（operation–machine feasible processing edges），后者将每个操作连接到其符合条件的机器。图1显示了调度前和部分调度后的图结构。节点特征包括与操作相关的属性（如处理时间和截止日期信息）以及与机器相关的属性（如可用时间、工作负载和功率参数）。这些特征被用作后续编码器的输入。

4. MOFJSP的DPG-GRL算法
本节详细介绍了提出的DPG-GRL算法。对于MOFJSP，DPG-GRL在偏好向量下对多目标反馈进行标量化，将原问题分解为一组依赖偏好的子问题。然后学习一个单一的基于偏好的策略网络，该网络可以为不同的偏好产生特定的决策。训练完成后，只需指定一组偏好向量并执行前向推理，就可以快速生成具有多样折中的调度方案，从而实现统一模型来近似帕累托前沿。
为了提高样本效率和训练稳定性，DPG-GRL引入了双池指导机制。离线专家池为不同偏好提供了可转移的行为先验，用于稳定初始化；而在线精英池持续收集并过滤当前策略生成的高质量轨迹，形成自我改进的监督。该机制减轻了策略漂移，并在学习过程中提高了训练稳定性。该框架包括离线阶段用于专家池构建和行为克隆初始化、在线阶段用于PPO部署和精英池更新，以及推理阶段，在该阶段训练好的策略在一组偏好向量下执行，以生成帕累托近似解集。整个工作流程如图2所示。

4.1. MOFJSP的MDP表述
我们将MOFJSP表述为一个多目标马尔可夫决策过程（Multi-Objective Markov Decision Process）。给定一个关于三个目标的偏好权重向量，在固定偏好向量下的问题由元组表示。在每个决策步骤中，代理根据当前状态选择一个动作，环境根据该动作转移到下一个状态。这个过程持续进行，直到所有操作都得到调度并且达到终止状态。
为了使单一策略在不同偏好下表现出不同的行为，我们在学习过程中应用基于偏好的标量化，并将多目标反馈转换为在偏好向量下的标量奖励，这可以直接用于强化学习更新。MDP的组成部分和相应的策略定义如下。

4.1.1. 状态
状态应同时表示操作和机器的特征。为此，我们将表示为决策演变的异构图。该图包含两种类型的节点：操作节点（operation nodes）和机器节点（machine nodes），以及两种类型的边：连续操作之间的优先级边（precedence edges）和操作-机器可行性边（operation–machine feasibility edges）。对于操作节点，原始特征包括 readiness indicator 和 scheduling indicator。对于机器节点，特征主要包括机器可用时间（machine availability time）和与当前工作负载相关的统计信息。

4.1.2. 动作
在MOFJSP中，每个决策自然分为两个步骤：选择操作，然后为选定的操作分配符合条件的机器。因此，在决策步骤中的动作定义为，其中表示选定的操作，表示分配给该操作的符合条件的机器。

4.1.3. 状态转换
在状态中执行动作后，环境将调度推进一步并更新相关的状态特征，从而得到下一个状态。

4.1.4. 奖励
由于完工时间（MT）和总延迟（TT）只能在获得完整调度后才能准确计算，因此直接从这些全局目标构建奖励会产生极其稀疏的反馈，可能会影响近端策略优化（PPO）的训练稳定性。为了解决这个问题，我们使用基于差异的奖励塑造（difference-based reward shaping）将MT和TT转换为密集反馈：在状态中执行动作并转移到状态后，我们定义；这里，表示在当前部分调度下所有工作的最大估计完成时间，表示在当前部分调度下的估计总延迟。相比之下，与能量相关的组成部分是直接从环境中计算得出的。为了消除目标之间的尺度差异，每个原始组件都进行了归一化，其中表示从训练期间相应奖励组件的运行统计中估计出的目标特定比例因子。这种归一化用于减少MT、TT和TE之间的数值尺度不平衡。
所提出的奖励设计旨在缓解MOFJSP中由于终端反馈稀疏而导致的长期信用分配问题。特别是，基于差异的形状项提供了与当前部分调度中的边际改进相关的逐步信号。给定一个偏好向量，那么标量奖励计算为，并用于两阶段决策过程中的PPO。

4.1.5. 策略
根据上述状态和动作的定义，我们学习一个基于偏好的策略，该策略以作为输入。为了匹配两步动作结构，策略以分层方式参数化。首先，操作选择策略输出一个候选操作的概率分布，从中选择一个操作。然后，在选定操作的基础上，机器选择策略输出一个可行机器的概率分布，从中选择一个机器。

4.2. 基于偏好的图策略网络（Preference-Conditioned Graph Policy Network）
因此，我们使用基于偏好的图策略网络（Preference-Conditional Graph Policy Network）来参数化MOMDP的策略。给定调度状态和偏好向量，网络输出两个阶段的动作，分别对应于操作选择和可行机器分配。整个策略被分解为：
网络由一个不受偏好影响的异构图编码器（Preference-agnostic heterogeneous-graph encoder）和两个偏好感知的解码器（偏好感知的 decoders）组成。在决策步骤中，编码器将异构图映射到一个共享的嵌入中，以捕获实例特定信息。遵循Navon等人[26]的方法，我们引入了一个超网络[27]来生成解码器相关层的参数，使解码器能够在不同折中进行差异化决策。与仅条件化整个网络的方法[26]不同，我们只条件化每个解码器的最后一层，同时共享所有其他层。这种设计减少了偏好条件化参数的数量，同时保持了跨偏好的表达能力。

4.2.1. 图注意力网络编码器
在决策步骤中，MOFJSP状态被表示为一个异构图，其中和分别表示操作节点集和机器节点集。边集表示操作之间的技术优先关系，表示操作-机器可行性关系。节点特征由状态构建模块提供。对于操作-机器边，边属性包括分配相关信息，如处理时间。
我们采用图注意力网络（Graph Attention Network, GAT）[28]以及关系特定的参数来模拟不同类型的边。对于关系下的边，设和为源节点和目标节点的表示，表示边特征。未归一化的注意力分数及其归一化系数计算如下：
通过堆叠多个异构注意力层，我们获得了操作嵌入矩阵和机器嵌入矩阵。节点嵌入也可以汇总成一个全局图表示，为解码器提供全局上下文。编码器参数与偏好向量无关，并且相同的编码器在不同偏好之间共享，以提供稳定的结构表示。

4.2.2. 基于偏好的解码器
编码器输出，由两个解码器共享。为了实现偏好条件化，我们使用超网络来生成每个解码器中最终线性层的参数。具体来说，超网络输出是通过公式（17）计算得出的，其中表示与解码器相关联的超网络的可训练参数集。由于和分别对应于操作选择解码器和机器分配解码器的超网络，最终线性层的权重向量和偏置则是根据公式（18）生成的。得到的logit值为（19）。通过这种构建方式，不同的偏好可以通过修改仅最后一层来诱导不同的动作分数，这使得单个网络能够生成跨多种偏好的帕累托近似解集。

操作选择解码器实现为一个MLP，它在步骤中输出候选集合上的分布。与实现一致，我们从当前任务的操作嵌入中提取出表示为，并将其与全局表示连接起来（公式20）。共享的MLP主干将映射到，而超网络模块（17）-（19）产生相应的logit值。然后我们屏蔽不可行的操作[29]，并对剩余的logit值应用掩码softmax来获得操作选择策略（公式21）。

机器分配解码器类似地，在选择一个操作后，它输出可行机器集合上的分布。对于每台机器k，我们构建候选特征向量（公式22），其中表示所选操作的嵌入，表示与分配相关的信息。通过屏蔽不可行的机器并对可行机器集合进行归一化来获得机器选择策略（公式23）。

借助偏好条件化的双重解码器，推理只需要更改偏好向量就可以使用单一策略网络生成具有不同权衡的调度动作序列，从而在多种偏好下实现广泛的覆盖，并有效地逼近帕累托前沿。

4.3 双池指导机制
尽管一个偏好条件化的策略可以在推理时通过单一模型覆盖不同的权衡，但在MOFJSP中纯粹基于策略的训练——具有长决策范围和严格的可行性约束——往往面临探索效率低、梯度方差高和策略漂移的问题。为了缓解这些问题，我们引入了双池指导机制。具体来说，离线专家池提供了可转移的行为先验，用于稳定初始化；而在线精英池则持续过滤并重放当前策略生成的高质量轨迹，以细化策略并稳定学习，从而提高样本效率和收敛性能。

4.3.1 离线专家池
离线专家池将多目标求解器产生的高质量调度解决方案转化为偏好条件化策略可以直接学习的监督数据，从而提供稳定的行为先验。如图3所示，我们首先使用NSGA-III在训练实例上运行以获得一组非劣解，每个解决方案指定了操作序列和机器分配。给定一个偏好向量后，我们从这组解中选择与相应权衡相匹配的解，并通过环境重放将其确定为逐步决策轨迹。从初始状态开始，在每个决策步骤中，我们提取与选定的专家解决方案一致的动作，并将环境推进到下一个状态。在重放过程中，记录下元组，并将生成的轨迹存储为离线演示数据集，可以重复采样。

4.3.2 在线精英池
在线精英池旨在从当前策略生成的轨迹中持续选择高质量样本，并将它们作为在线行为克隆正则化的监督信号，以实现自我改进。为了防止池退化为仅反映最新数据分布的短期缓冲区，我们维护了一个外部精英档案，并采用顶部截断更新方案，以便存储的样本在保持一定多样性的同时保持精英质量。在每个更新周期中，策略在从偏好中采样的条件下进行展开。我们收集这些展开产生的终端调度及其目标向量，形成一个候选集。首先通过非支配性过滤候选者以获得。给定一个偏好向量后，我们计算每个解决方案的相应标量化分数，相应地对解决方案进行排名，并保留前个解决方案以形成精英集。然后将与精英解决方案相关的轨迹转换为元组并存储。当池达到其最大容量时，使用相同的评分标准淘汰得分较低的样本。由此产生的精英重放提供了持续的高质量监督，从而规范PPO更新，提高训练稳定性和解决方案质量。

4.4 两阶段训练和在线推理
为了在多样化偏好下学习MOFJSP的稳定单策略模型，我们采用两阶段训练和一次性推理范式。策略首先通过离线专家演示进行初始化，然后主要通过在线交互进行PPO优化。在在线训练期间，引入来自离线专家池和在线精英池的行为克隆正则化，以减少策略漂移并提高样本效率。训练后，推理只需要遍历一组偏好向量来生成帕累托近似解集，而无需额外搜索。

为了清晰起见，双池引导的学习过程包括五个步骤。首先，通过NSGA-III解决训练实例并重放选定的高质量解决方案来构建离线专家池，生成逐步演示轨迹。其次，通过在这些专家样本上进行行为克隆来初始化偏好条件化的策略。第三，在采样的偏好向量下执行PPO展开，以收集基于策略的轨迹。第四，通过非支配性和偏好条件化排名筛选当前策略生成的终端解决方案，并将相应的顶级轨迹写入在线精英池。第五，使用PPO目标以及来自两个池的行为克隆正则化来更新策略。这样，离线池提供了稳定的早期指导，而在线池在后期训练中提供了不断进化的优质监督。

4.4.1 离线专家预训练
离线预训练在专家池上进行，以获得产生可行调度的初始策略，并在多种偏好下捕捉合理的决策模式。对于每个监督样本，动作被分解为两个阶段，分别对应于操作选择和机器分配。预训练最小化演示的两阶段动作的负对数似然，鼓励策略根据状态和偏好向量复制专家决策。这种初始化减少了早期阶段的探索噪声，并提高了随后基于策略学习的稳定性（算法1）。

算法1：DPG-GRL的两阶段训练过程
要求：
- 偏好条件化策略；
- 评论家；
- ExpertPool容量；
- ElitePool容量；
- BC预训练时代数；
- PPO迭代次数；
- 展开视野T；
- PPO时代数K；
- 精英规模；
- BC权重；
- 验证周期

1. 使用NSGA-III解决方案和轨迹重放构建容量为的ExpertPool（算法2）
2. 第一阶段：离线专家预训练
3. 对于时代数 = 1执行以下操作：
4. 采样约个监督批次
5. 通过最小化更新
6. 结束对于
7. 第二阶段：带有双池指导的在线强化学习
8. 对于迭代次数 = 1执行以下操作：
9. 从狄利克雷分布中采样偏好向量进行并行展开
10. 通过展开为视野T收集基于策略的批次
11. 使用候选展开和更新ElitePool（算法2）
12. 使用-条件化标量优势计算PPO损失
13. 采样~ElitePool和~
14. 计算BC正则化器
15. 通过最小化更新
16. 如果迭代次数模则评估HV；保存最佳模型
17. 结束对于
18. 输出：和评论家

4.4.2 带有双池正则化的在线PPO
在在线阶段，策略在与分布中采样的偏好下与环境交互，以收集用于PPO更新的基于策略的批次。同时，从离线专家池和在线精英池中分别采样监督批次和，以构建与PPO目标一起优化的行为克隆正则化器。这里，表示偏好条件化演员策略的参数=（,），包括编码器、两个解码器和解码器级别的超网络模块。此外，表示评论家/价值网络的参数。得到的联合目标是，其中和控制两个指导来源的强度，允许学习从早期的基于演示的正则化过渡到后期的基于回报的策略改进。在这种构建中，两个行为克隆项作为PPO目标的辅助正则化器，提供了专家指导和自我改进的监督。与两阶段动作结构一致，行为克隆损失定义为，其中和分别表示操作选择和机器分配的策略分布。

在线精英池在每个周期中使用从展开中提取的候选解决方案进行更新。我们首先应用非支配性过滤，然后基于偏好条件化的标量化分数进行顶部截断。该分数采用训练期间使用的相同加权总和形式，并用于在给定下对候选者进行排名。然后将与选定的精英解决方案相关的轨迹写入ElitePool，形成自我改进的监督（算法2）。这样，监督信号随着当前策略的演变而演变，从而提高训练稳定性和偏好覆盖范围。

算法2：DPG-GRL的双池指导机制
要求：
- NSGA-III求解器；
- 专家偏好集；
- ExpertPool容量；
- ElitePool容量；
- 精英规模；
- 标量化

1. 使用NSGA-III解决方案和轨迹重放构建ExpertPool
2. 对于每个实例执行以下操作：
3. 运行NSGA-III求解器以获得非劣解集
4. 对于每个执行以下操作：
5. 选择代表性解决方案λ
6. 在环境中重放λ以恢复逐步决策
7. 将监督元组存储到ExpertPool
8. 结束对于
9. 对每次PPO迭代更新ElitePool
10. 收集在当前下的终端目标的展开候选者
11. 通过非支配性排序过滤以获得
12. 通过使用评分选择得分最高的轨迹
13. 将插入ElitePool；如果溢出，则移除得分最低的项
14. 输出：ExpertPool, ElitePool

4.4.3 在线推理和解决方案集生成
在推理期间不执行搜索。给定一个测试实例，我们使用Das-Dennis方法构建一个确定性的偏好集，共12个分区，为三个目标设置生成个偏好向量。对于每个偏好向量，我们使用所学策略执行单次展开直到终止，以获得调度解决方案。然后汇总所有解决方案并通过非支配性过滤以产生近似帕累托集（算法3）。由于策略是偏好条件化的，该过程以低且固定的推理成本提供多样化的权衡解决方案。所有比较方法都使用相同的推理时偏好集，以确保公平评估。

算法3：近似帕累托集的在线推理
要求：
- 训练好的演员策略；
- 测试实例；
- 偏好集

1. 初始化候选解决方案集
2. 对于每个执行以下操作：
3. 用实例重置环境，获得初始状态
4. 当不是终止状态时执行以下操作：
5. 计算图嵌入
6. 选择操作
7. 选择机器
8. 执行，转换到
9. 当终止时结束
10. 获得终端目标向量；将解决方案添加到
11. 结束对于
12. 输出：近似帕累托集

为了清晰起见，图2提供了所提出框架的概念工作流程，而算法1-3分别总结了其在三个不同层面的可执行程序。算法1描述了整个两阶段训练过程，算法2详细说明了双池指导机制的构建和更新，算法3总结了推理时近似帕累托集的生成。

算法1介绍了DPG-GRL的完整训练过程。其主要目的是展示如何将离线专家预训练和在线PPO集成在一个统一的学习框架中。特别是，该算法强调了首先构建并使用ExpertPool进行行为克隆初始化，随后迭代地执行PPO展开、ElitePool更新和双池规范化策略优化。

算法2更详细地介绍了双池指导机制。离线部分解释了如何将NSGA-III获得的代表性解决方案转换为可重放的专家轨迹，而在线部分展示了如何通过非支配性过滤和偏好条件化顶级选择从当前策略展开中选择精英轨迹。因此，该算法阐明了两个池是如何从不同来源构建的，以及它们如何在训练期间提供互补的监督。这里，表示用于在ExpertPool构建期间从NSGA-III生成的非劣解集中选择代表性解决方案的专家偏好集；每个是满足+TT+TE=1的非负三目标偏好向量。参数表示在每次ElitePool更新中保留的顶级精英轨迹的数量。

算法3介绍了推理时近似帕累托集的生成。其主要目的是展示训练后的偏好条件化策略的部署方式。特别是，对于确定性偏好集中的每个偏好向量，策略在测试实例上执行一次展开（rollout）以生成候选调度解决方案，之后通过非支配性过滤所有候选解决方案，以获得最终的近似帕累托集合。5. 实验为了系统评估所提出的DPG-GRL，我们在合成实例和标准公共基准实例上进行了实验，并从解决方案质量和计算效率方面将DPG-GRL与代表性基线进行了比较。我们进一步通过分别移除离线专家预训练和在线精英池来进行消融研究，以量化双池引导机制中每个组分的对收敛速度和最终帕累托前沿近似质量的贡献。所有实验都在配备有AMD EPYC 9754 CPU（美国加利福尼亚州圣克拉拉市Advanced Micro Devices, Inc.）和NVIDIA RTX 4090 GPU（美国加利福尼亚州圣克拉拉市NVIDIA Corporation）的服务器上完成。5.1. 实验设置 5.1.1. 数据集我们构建了三个规模的合成实例：10 × 5、10 × 10和15 × 15。实例生成遵循[14]中的设置。具体来说，一个n × m实例包含工作和机器，每个工作中的操作数量等于机器的数量。处理时间是从均匀分布中抽取的。为了构建总延迟（TT）和总能耗（TE）目标，我们还生成了作业截止日期并为机器分配了功率参数。截止日期是使用[30]中的经典程序生成的，其中截止日期生成规则设置为tf_rdd，TF = 0.3和RDD = 1.3。每台机器的处理功率是从某个范围中抽取的，空闲功率设置为0.2。运输能量固定为20。为了进一步评估跨数据集的泛化能力，我们在广泛使用的公共FJSP基准实例家族上测试了所提出的方法，包括Brandimarte [31]和HUdata [32]。对于这两个基准，我们使用与合成实例相同的参数化方案生成了扩展目标所需的额外参数，包括作业截止日期和机器功率参数。这种设置使我们能够在保持一致和标准评估协议的同时，评估策略对未见实例的泛化能力。5.1.2. 配置训练超参数设置如下。图编码器使用两个注意力头；每个头的两个GAT层的输出维度分别为32和8。在两个解码器中，用于动作评分的多层感知器各有64个单元，并使用tanh激活函数。在在线学习期间，使用近端策略优化（PPO）来更新策略。策略损失和价值损失的权重分别设置为0.5和1.0，熵正则化权重设置为1.0；剪切系数为0.2。广义优势估计参数为0.98，折扣因子为1，学习率为2 × 10?4，PPO小批量大小设置为256。ExpertPool和ElitePool的容量都设置为2000，并在在线训练开始前进行10次的行为克隆预训练。行为克隆正则化系数遵循模拟退火式衰减计划，其中从1.0退火到0，从0.5退火到0.02。偏好向量是从浓度参数为0.2的狄利克雷分布中抽取的，以提高边界和内部偏好的覆盖范围。5.2. 基准和评估指标基线。我们考虑四个代表性的MOEAs作为基线：NSGA-II [33]、MOEA/D [34]、NSGA-III [35]和RVEA [36]。所有算法都使用pymoo版本0.6.1.6 [37]实现，并在与所提方法相同的调度环境、目标定义和评估协议下进行评估。它们的超参数设置总结在表2中。对于所有MOEA基线，种群大小设置为100，代数设置为100，而其他算法特定的参数则遵循pymoo的默认设置。因此，报告的MOEA结果应被视为在统一搜索设置下的固定预算比较。表2. MOEA基线的超参数设置。为了进一步验证DPG-GRL在MOFJSP上的性能，我们将我们的方法与两种先进的MOFJSP求解器HMOMA [38]和NSGA-III-COE [39]进行了比较。HMOMA是一种通过增加局部搜索程序来增强利用度的遗传算法。NSGA-III-COE是一种结合了多个共同进化子种群和自然选择机制的NSGA-III变体，以提高搜索多样性和收敛性。此外，为了与[11]中的基于偏好的GRL框架进行直接的基于DRL的比较，我们实现了基于官方PGRL代码库的PGRL适配基线。由于原始PGRL方法是在不同的目标设置和问题环境下开发的，我们根据本工作中使用的MT/TT/TE配置调整了目标公式和环境设置，同时尽可能保留了原始的基于偏好的图策略和基于ES的训练范式。遵循参考文献[11]中报告的训练配置，适配模型在合成10 × 10实例上进行了训练，并在与DPG-GRL相同的协议下进行了评估。评估指标。我们使用超体积（HV）[40]和GAP指标来评估性能。超体积（HV）。设S为-目标最小化问题的一个非支配解集。在目标标准化之后，使用参考点计算超体积。（26）较大的HV表明解集更接近帕累托前沿，并提供了更全面的覆盖。GAP指标衡量与我们的方法相比的相对HV差异：（27）正的GAP表明比较方法的表现优于我们的方法，而负的GAP意味着我们的方法获得了更好的性能。5.3. 在合成实例上的结果如图4所示，我们报告了在100个固定验证的MOFJSP实例上的平均超体积（HV）收敛曲线，这些实例涵盖了三个训练规模：10 × 5、10 × 10和15 × 15。在这三种情况下，HV在早期训练阶段迅速增加，在大约200次迭代后趋于稳定平台，表明所提出的方法可以在不同的训练规模上实现相对稳定的收敛。图4. 在训练规模合成实例上的平均HV收敛曲线。蓝色阴影区域表示来自不同随机种子的标准差。5.3.1. 在训练规模合成实例上的结果表3报告了在训练规模下100个合成测试实例上的平均HV、GAP和运行时间。与依赖迭代搜索的MOEAs相比，DPG-GRL生成的帕累托近似解集具有显著更低的推理时间，同时在当前评估设置下保持竞争性的解集质量。随着问题规模的增加，由于重复评估，MOEAs的计算成本迅速增加，而DPG-GRL的推理成本主要由单次网络前向传递决定，这在更大规模上表现出更加明显的优势。表3. 在训练规模合成实例上的最终测试结果总结。为了进一步评估表3中HV比较的统计可靠性，我们在相同的测试实例上对DPG-GRL和每个基线方法进行了双尾配对t检验，显著性水平设置为0.05。结果显示，所有成对的HV差异在0.05水平上都具有统计学意义，这进一步支持了观察到的性能差异的可靠性。5.3.2. 在更大规模合成实例上的跨尺度结果为了进一步评估跨尺度泛化能力，我们直接在三个更大的设置上测试了仅在10 × 10合成实例上训练的模型，即20 × 10、20 × 20和30 × 20，无需微调。结果总结在表4中。DPG-GRL在所有三个更大规模上实现了最佳HV，与所有比较的MOEA基线的GAP值均为负数，表明在采用的评估协议下具有持续的解决方案质量优势。尽管所有方法的HV随着问题规模的增加而减少，这是由于更大实例的难度更高，但DPG-GRL保持了稳定的相对优势。此外，其运行时间显著低于MOEA基线，且在更大实例上的效率差距更加明显。这些结果表明所提出的方法在保持清晰的推理效率优势的同时，展示了有希望的跨尺度转移能力。表4. 在更大规模合成实例上的跨尺度测试结果总结。5.4. 运行时间、复杂性和可扩展性讨论表3和表4中的运行时间结果表明，DPG-GRL所需的测试时间明显少于MOEA基线，尤其是在更大规模上。这种差异主要是由于比较方法的计算结构不同。在训练好的策略下，DPG-GRL通过扫描一组固定的偏好向量并执行直接的策略展开来生成解集。因此，其测试时间成本主要取决于操作数量、当前实例的图大小以及推理时使用的偏好向量数量。相比之下，MOEA基线在测试期间依赖于迭代种群搜索，这涉及重复的后代生成、基于排名或分解的更新以及重复的目标评估。随着问题规模的增加，这种重复搜索机制导致运行时间增长更加陡峭。还应注意的是，双池引导机制主要增加了离线训练成本而不是推理成本。具体来说，ExpertPool构建、ElitePool维护和基于回放的正则化在学习过程中引入了额外的开销，但一旦模型训练完成，它们不会改变部署的推理过程。从这个意义上说，DPG-GRL将更多的计算转移到了离线阶段，同时保持了轻量级的在线决策过程。结合表3和表4的结果，这表明所提出的方法具有有利的分发可扩展性，特别适合低延迟调度场景。5.5. 与先进基线的比较 5.5.1. 与PGRL适配基线的比较为了进一步检验DPG-GRL与[11]中最近的基于偏好的GRL框架之间的差异，我们还将我们的方法与第5.2节中定义的PGRL适配基线进行了比较。表5报告了在合成10 × 10实例上的比较结果。如所示，两种方法实现了相当的HV性能，而DPG-GRL所需的推理时间略少。这一观察结果与DPG-GRL中采用的轻量级解码器级条件设计一致，该设计在保持竞争性帕累托近似质量的同时减少了基于偏好的开销。表5. 与在合成10 × 10实例上的PGRL适配基线的比较。5.5.2. 在公共基准实例上的结果为了评估解决性能和跨数据集泛化能力，我们直接将仅在合成10 × 10实例上训练的模型应用于公共基准实例MK06（10 × 15）、MK08（20 × 10）、La16（10 × 10）和La21（15 × 10），无需任何微调，并将其与两种先进基线HMOMA和NSGA-III-COE进行了比较。对于每个实例，首先过滤每种方法产生的候选解集，仅保留非支配解，然后计算HV、GAP和运行时间，以评估基于偏好的解集的质量和稳定性以及DPG-GRL相对于迭代搜索基线的推理效率优势。如表6所示，DPG-GRL在所有公共基准实例上实现了有竞争力的解决方案质量，同时在计算效率上保持了显著的优势。它在La16和MK08上获得了最高的HV，分别仅比表现最好的基线低0.96%和0.44%，表明在不同基准实例上实现了稳定且高质量的帕累托前沿近似。更重要的是，与迭代搜索基线相比，DPG-GRL生成的解集具有显著更低的运行时间，证明了其在低延迟调度场景中的明显效率优势。表6. 在公共基准实例上的最终测试结果总结。总体而言，尽管仅在合成实例上进行了训练，DPG-GRL在没有微调的情况下在公共基准上保持了可靠的性能，表明其具有有希望的跨数据集泛化能力。此外，其低延迟的单模型推理使其非常适合需要快速响应的实时调度和工业场景。5.6. 双池引导机制的消融研究 5.6.1. 机制消融为了验证双池机制的有效性，我们在10 × 10合成实例上进行了消融研究，比较了三种训练设置：PPO（基线）、PPO + Expert Pretrain和PPO + Dual-Pool。所有设置都在相同的随机种子和相同的超参数配置下进行了评估。图5展示了在训练迭代过程中验证集上平均HV的收敛曲线。图5. 双池机制对HV收敛的影响。阴影区域表示来自不同随机种子的标准差。结果显示，专家预训练显著提高了初始的HV值，并加速了收敛到稳定平台的过程，表明离线专家示范提供了更强的行为先验，减少了早期探索的噪声和不稳定。在此初始化的基础上，双池设置进一步改善了最终的HV值，并显著减少了中后期的训练波动，表明在线精英池不断反馈高质量的轨迹，促进了策略的自我优化。总体而言，双池机制并不是简单的组合；相反，其两个组件在训练的不同阶段扮演着互补的角色，通过改进初始化和增强长期训练稳定性以及帕累托近似质量。5.6.2 超参数敏感性分析为了进一步证明与BC相关的正则化系数的选择是合理的，我们在第5.6.1节中使用的相同10 × 10合成训练设置上进行了小规模敏感性分析。所有架构设置、PPO超参数和重放池大小保持不变，只改变与BC相关的系数。结果是在三个随机种子上平均得出的，并以最终测试HV值和最佳验证HV值的形式报告。具体来说，我们比较了四种设置：（1）无BC，其中移除了所有的BC正则化器；（2）仅专家固定，其中保留了离线专家正则化器并使用固定系数；（3）双BC固定，其中应用了离线专家和在线精英BC项并使用固定系数；（4）双BC退火，这是所提出方法中的默认设置。这种比较旨在检验BC正则化是否有益，双池BC是否优于仅专家BC，以及在整个训练过程中退火是否比固定正则化更合适。与BC相关系数设置的敏感性结果总结在表7中。表7. 在10 × 10合成实例上与BC相关系数的敏感性。移除BC正则化会导致最低的HV值，表明纯PPO得到的监督指导较弱。引入专家BC项可以提高最终测试HV值和最佳验证HV值，证实了离线专家池作为稳定行为先验的好处。当加入精英BC项时，性能再次提高，表明在线自我优化监督与离线示范是互补的。在测试的设置中，退火双BC方案获得了最佳性能，表明在训练过程中先提供强烈指导再逐步放松比保持固定BC强度更有效。6. 结论本文提出了一种端到端的MOFJSP方法，称为DPG-GRL。所提出的方法将图注意力网络与强化学习结合起来，通过异构图表示模型操作-机器耦合，并明确地将偏好向量注入策略网络。因此，训练好的模型可以在推理时快速生成不同的偏好向量下的帕累托近似解集，从而涵盖多个目标之间的多样化权衡。为了提高样本效率和训练稳定性，我们还引入了双池引导机制：离线专家示范提供了稳定的早期指导，而在线精英池不断反馈高质量轨迹以增强策略稳定性和解集质量。实验结果表明，DPG-GRL在合成实例和公共基准测试中在HV值和GAP方面取得了有竞争力的性能，同时在推理速度上明显快于需要迭代搜索的MOEAs。这些结果表明它在未见实例上的泛化能力很有前景，并且在实际的低延迟调度应用中具有潜在价值。尽管有这些令人鼓舞的结果，但也应承认当前研究的几个局限性。首先，偏好分解依赖于加权求和标量化，这可能对于帕累托前沿的非凸区域覆盖有限。其次，尽管双池机制在实验上提高了样本效率和训练稳定性，但对正则化PPO框架进行更严格的理论收敛性分析仍然是未来研究的宝贵方向。第三，当前研究仅限于静态MOFJSP设置，而动态干扰（如机器故障或意外任务到达）超出了当前工作的范围。最后，仍需要在专有工业数据集或实际生产场景上进行验证，以进一步评估实际适用性。未来的工作将研究替代的标量化方案、替代的奖励塑造策略、动态调度扩展、更现实的截止日期和能量模型，以及在工业场景中进行更广泛的验证。