基于强化学习的协同进化优化方法在多目标能效混合流水线调度中的应用 刘宇辰、 舒婷、 尹学松、 夏锦松

《Axioms》：Synergistic Evolutionary Optimization with Reinforcement Learning for Multi-Objective Energy-Efficient Hybrid Flow Shop Scheduling Yuchen Liu, Ting Shu, Xuesong Yin and Jinsong Xia

　　**摘要**
能效混合流水车间调度问题是一个具有重大挑战的多目标优化问题，需要同时最小化三个相互冲突的目标：总延迟、总能源成本和碳交易成本。非支配排序遗传算法II（NSGA-II）是多目标优化领域的经典算法。然而，该算法往往缺乏在高维解决方案空间中导航所需的适应能力，尤其是在受到异构机器实际能源状态限制时，容易导致搜索陷入局部最优解。为了解决这些复杂性，本研究提出了一种名为QGN的混合算法，该算法整合了Q学习、灰狼优化器（GWO）和NSGA-II。具体而言，QGN算法利用NSGA-II来维持强大的多样性，同时结合GWO实现高精度优化。与传统静态混合方法不同，QGN通过Q学习代理作为自适应控制器，动态平衡全局探索和局部细化，从而有效地应对由机器异质性带来的复杂搜索环境。在多种生产场景中的全面实验验证表明，QGN在收敛性和多样性方面均显著优于基线算法，包括NSGA-II、Jaya、基于分解的多目标进化算法（MOEA/D）以及最新的Q学习驱动的NSGA-II（QVNS）算法。结果表明，所提出的算法能够产生更優异的解决方案，生成更多的非支配解，并在帕累托前沿保持更均匀的分布。

**1. 引言**
工业4.0的兴起从根本上重塑了制造业。现代生产系统在追求传统效率目标的同时，也必须实现紧迫的可持续发展目标[1]。这一转变是由于全球对减缓气候变化和严格控制工业碳排放的压力[2]。因此，制造企业正从纯粹基于时间的调度方法转向能效调度（EES）[3]。这种方法将能源消耗不仅仅视为固定成本，而是通过智能决策进行优化的变量[4]。在电子和半导体等离散制造业中，混合流水车间（HFS）[5]仍然是主流的生产布局。HFS环境的特点是包含多个处理阶段，其中至少一个阶段有并行机器[6]。在这种环境中进行调度涉及复杂的子问题：跨阶段排序作业以及为并行机器分配特定任务。这种复杂性使得HFS调度问题（HFSP）[7]成为一个典型的NP难组合问题，随着问题规模的增加，寻找最优解所需的时间呈指数级增长。

传统上的HFSP研究主要集中在最小化生产周期（makespan）[8]上。然而，随着制造业范式的转变，绿色制造的追求需要多目标视角[9]。能效混合流水车间调度问题（EEHFSP）[10]旨在同时优化多个相互冲突的目标：最小化总延迟（TT）以确保服务水平，同时降低总能源成本（TEC）和碳交易成本（CTC）以符合环境法规。这种同时优化创建了一个复杂且高维的解决方案空间，改进一个目标往往会导致其他目标的恶化，使得找到最佳权衡变得异常困难。尽管通过卷积将这些标准转化为单一的经济指标是一种常见的简化方法，但它掩盖了内在的运营冲突，并限制了对高维权衡的探索。

除了这些目标冲突之外，现有EEHFSP文献中的一个关键缺陷是对机器特性的过度简化。许多研究假设同一阶段的并行机器在速度和功率上都是相同的[11]。在现实中，工厂车间通常包含由于型号、年龄或磨损状态不同而性能各异的并行机器[12]。此外，机器在处理、空闲、启动和关闭等不同状态下消耗的能量也有所不同[13]。忽略这种机器异质性会导致理论模型无法反映实际的车间能源动态，从而导致在实践中无法实施的调度方案[14]。考虑这些现实约束显著增加了问题的计算复杂性，使得简单的启发式调整变得不够奏效。

解决高维、多目标的EEHFSP问题存在重大的方法论挑战。对于大规模工业应用而言，精确方法如混合整数线性规划在计算上具有 prohibitive 性[15]。因此，遗传算法（GA）和粒子群优化（PSO）等元启发式方法已成为标准解决方案[16]。NSGA-II因其多目标优化能力而特别受欢迎[17]。然而，当面对特定且高度受限的多目标问题时，仅依赖单一的静态搜索逻辑往往是不够的。传统元启发式方法经常出现过早收敛的问题，并且缺乏在复杂能源调度问题中导航所需的适应性[18]。具体来说，NSGA-II依赖于固定的遗传操作符，无法适应优化过程的变化，因此在面对上述提到的异构能源约束时，种群往往会停滞在局部最优解。

为了弥补这些缺点，将机器学习（ML）整合到元启发式方法中已成为一个强大的研究方向[19]。特别是强化学习（RL）[20]提供了一种强大的在线算法控制机制。通过将优化器建模为从搜索历史中学习的代理，RL可以动态调整搜索策略（如自适应操作符选择[AOS][21]，以适应当前的优化状态。这使算法能够自主平衡全局探索和局部优化，显著提高搜索效率，而无需依赖静态的、手动调整的参数[22]。最近的调查显示，将RL与进化计算（ERL）[23]相结合是解决复杂序列决策和优化问题的有前途途径。

为了克服传统元启发式方法在处理多目标EEHFSP时的局限性，本研究提出了名为QGN的算法框架。与依赖静态参数设置或固定操作符概率的现有混合方法不同（这些方法往往无法适应异构机器环境的复杂搜索环境），我们的方法引入了一种动态控制机制。虽然NSGA-II作为维持良好分布的帕累托前沿的强大引擎，但仅依赖其随机遗传变异限制了算法在复杂局部区域找到高精度最优解的能力。为了解决传统方法过早收敛的特定缺陷，所提出的框架嵌入了GWO作为“逐点”强化器。该机制利用精英狼的领导力引导种群向更高质量的解决方案区域移动，有效地补充了NSGA-II维持的全局多样性，并结合了群体智能的局部精度。此外，通过整合Q学习代理，QGN框架解决了以往工作中手动参数调整的刚性问题，实现了对优化状态的自主适应。本文的主要贡献如下：

该框架通过将GWO的探索机制嵌入NSGA-II结构中构建而成。这种并行双路径机制有效缓解了全局搜索与局部优化之间的权衡，防止了传统方法中常见的过早收敛问题。在该架构中，开发了一个由Q学习控制的智能决策模块，用于动态调节遗传操作符和搜索参数。通过实时感知种群状态，该机制通过数据驱动的决策克服了固定进化策略的刚性。最后，通过广泛的比较实验和消融研究证明了所提出方法在同时优化总延迟、能源消耗和碳交易成本方面的优越性能，优于标准基线算法。

文章的组织结构从理论基础逐步过渡到实证分析：第2节总结了相关工作，以识别研究空白；第3节概述了初步的算法概念；第4节数学上阐述了EEHFSP问题，详细定义了目标函数和约束条件；第5节详细介绍了QGN算法的架构；第6节介绍了实验设计并分析了比较结果；第7节对研究进行了总结，并展望了未来发展方向。

**2. 相关工作**
EEHFSP涉及基于时间的效率与环境可持续性之间的复杂权衡。最近的方法论已经从静态数学规划转向了能够处理动态制造环境中多目标冲突的自适应、学习驱动的优化框架[2.1]。

在EEHFSP中，优化目标必须同时考虑生产效率和能源消耗约束，例如分时电价和碳排放[24]。Zhang等人提出了一种基于分解的进化算法，用于混合流水车间，证明将复杂的能源目标分解为子问题可以有效地平衡生产周期和总能源成本。虽然分解有效处理了静态权衡，但动态生产环境引入了更多复杂性[25]。Wang等人认为，静态调度无法捕捉低碳环境中的实时能源波动，需要采用博弈论方法来处理多时间周期约束[26]。Catanzaro等人对分时电价下的作业调度进行了全面调查，指出动态电价是现代可持续制造的基本目标[26]。

为了满足严格的环境法规，优化目标已经超出了简单的能源成本范围[27]。Wu等人将特定的节能措施（ESM）引入了灵活的作业车间调度，验证了明确的能源目标可以在不严重降低生产时间的情况下减少能源消耗[27]。为了明确处理机器能源状态，Lee等人研究了动态电价下的空闲时间控制和容量调整，为当代节能策略中使用的关闭/待机机制奠定了理论基础[28]。此外，Jiang等人强调必须将碳排放约束视为独立的优化目标，而不仅仅是次要约束，以确保符合工业标准[29]。现代工厂的能源消耗范围不仅限于加工机器，还包括辅助物流[30]。在分布式制造环境中，Liu等人将起重机运输约束纳入了绿色调度，表明辅助资源对总能源足迹有显著影响[30]。Ghorbanzadeh等人通过纳入可再生能源约束和准备时间，扩展了能源感知流水车间调度的范围，强调了多维环境目标的重要性[31]。

尽管有这些进展，现有文献很少能在统一框架内同时考虑总延迟、总能源成本和碳交易成本的最优化。大多数现有模型通过假设平行机器相同来简化制造环境，从而忽略了现实异构机器环境中的经济压力[32]。本研究通过制定一个全面的多目标模型，明确考虑了机器异质性和复杂的碳交易约束，弥补了这一空白[33]。

元启发式方法如NSGA-II和GWO由于其有效性已成为调度问题的标准解决方案[2.2]。NSGA-II因其多目标能力而受到青睐，而群体智能算法如GWO则提供了强大的局部优化能力。例如，Lu等人提出了一个用于混合流水车间调度问题的多目标细胞灰狼优化器[32]，展示了GWO在处理复杂制造约束方面的潜力[32]。虽然元启发式方法是NP难调度问题的标准解决方案，但传统算法通常难以处理高维解决方案空间和过早收敛问题[33]。然而，仅依赖标准元启发式方法在处理大规模问题时往往不够充分[33]。Shao等人使用了一个多目标进化算法和多个邻域搜索，但他们指出固定操作符选择常常导致局部最优解的停滞[34]。类似地，Zuo等人应用了多种群人工蜂群算法来提高多样性，但发现参数适应性在扩展到更大问题规模时成为瓶颈[34]。Penn等人系统分析了分时电价下的调度计算复杂性，证明了在处理高度波动的能源成本目标时，先进的启发式方法不可或缺[35]。

群体智能算法如GWO提供了强大的局部优化能力，但在离散空间中缺乏全局探索的固有机制[36]。Tao等人使用离散帝国竞争算法处理资源受限的流水车间，发现静态同化策略限制了新解决方案的发现[36]。最近的研究集中在特定算法的改进上。例如，Li等人开发了一个改进的Jaya算法，结合了运输和准备时间，有效减少了灵活环境中的生产周期[37]。然而，Gu等人观察到，即使改进的布谷鸟搜索算法也需要混合机制来在多目标能效场景中有效平衡探索与优化[38]。最近，Li等人设计了改进的NSGA-II（INSGA-II）与IDNEH启发式相结合，用于解决能效分布式阻塞流水车间调度问题（EEDBFSP），旨在在阻塞约束下最小化生产周期和总能源消耗[39]。

尽管特定的改进提高了解决方案质量，但传统元启发式方法仍然主要依赖固定操作符和静态同化策略。它们缺乏在多目标EEHFSP的复杂环境中导航所需的在线适应性，经常导致过早收敛[39]。与这些静态方法不同，所提出的QGN算法引入了一种动态双路径机制，利用群体智能进行强化，同时保持遗传多样性，确保了探索与优化之间的更稳健平衡[39]。

**2.3. 混合进化强化学习**
RL通过使代理能够通过与生产环境的交互学习最优策略，解决了元启发式方法的刚性问题[40]。Ni等人将近端策略优化（PPO）应用于大规模混合流水车间，证明基于学习的方法在处理高维状态空间时显著优于基于规则的经验方法[40]。Gil等人进一步利用深度强化学习（DRL）进行材料调度，验证了代理可以在没有先验领域知识的情况下自主适应动态约束[41]。RL的适应性允许在不确定性下进行稳健的决策。刘等人[42]将基于代理的模拟与强化学习（RL）结合起来，用于管理多技能工人的约束问题，与传统解决方法相比，在应对疲劳因素方面表现出更强的鲁棒性。张等人[43]通过应用元强化学习进一步扩展了这一方法，以解决学习和遗忘效应问题，证明了自适应机制能够有效减轻处理时间的不确定性。此外，赵等人[44]引入了一种结合了DRL的异构图神经网络，该网络能够比标准的基于向量的状态表示更好地捕捉机器和作业之间的拓扑依赖关系。林等人[45]专门针对再入式混合流水线工厂进行了研究，使用DRL证实了学习型代理可以同时优化存储位置和调度。

强化学习代理能够根据种群反馈动态调整搜索策略。例如，裴泽等人[46]开发了一种结合Q学习与GVNS驱动的NSGA-II的方法，其中RL用于指导面向能效调度的局部搜索过程。在国际上，Momenikorbekandi等人[47]成功应用了先进的Q学习模型来动态优化复杂的作业车间调度，证明了其在处理生产变化方面的有效性。将进化算法（EAs）与RL结合，称为ERL，结合了全局搜索能力和快速决策。蔡等人[48]将Q学习与洗牌蛙跳算法结合，其中RL代理根据种群反馈动态选择搜索策略，显著提高了收敛速度。同样，王等人[49]采用了一种基于学习的协同进化算法，通过允许代理共享知识，提高了分布式调度任务的性能。

这种混合方法扩展到了复杂的多目标问题。贾等人[50]提出了一种基于Q学习的多种群协同进化算法，用于分布式组装流水线工厂，利用RL动态调整预防性维护计划。席和雷[51]将Q学习与基于教学学习的优化结合，有效处理了两阶段混合流水线中模糊的处理时间问题。在操作员选择方面，李等人[52]展示了双重深度Q网络（DQN）可以与启发式操作员共同进化，以解决分布式异构调度问题，验证了学习和进化之间的协同作用。同样，张等人[53]提出了一种由双重深度Q网络（DDQN）驱动的协同进化算法，用于具有运输约束的动态能效混合流水线调度问题，利用代理自主选择最优的局部搜索操作员。崔等人[54]证实，RL引导的遗传算法在线学习最优参数配置方面优于静态算法。此外，邓等人[55]利用RL估计了模糊分布式调度的分配算法，平衡了按时交付和能源成本。类似地，周等人[56]开发了一种基于多目标强化学习的协同进化算法，用于具有能源存储系统的动态混合流水线调度，其中Q学习用于根据进化状态自主选择最合适的局部搜索操作员。王等人[57]探索了用于多代理调度的独立双重DQN，为批处理中的分散决策提供了一个框架。最后，秦等人[58]利用Q学习控制了阻塞流水线中的迭代贪婪算法，而赵等人[59]应用了协同水波优化与RL，两者都支持这样的结论：动态控制算法组件可以产生更优的能效调度解决方案。

尽管现有的混合方法已经成功利用Q学习进行操作员选择，但它们主要依赖于单一的搜索逻辑，实际上只是调整了一个基础算法的参数。它们通常缺乏一个主动结合不同搜索范式的协同框架。本研究提出的QGN算法通过实现双路径机制解决了这一限制。通过利用Q学习代理在基于向量的GWO探索和NSGA-II的遗传进化之间动态仲裁，我们的方法在多样性和收敛性方面达到了理论上更优的平衡，优于单逻辑混合方法。

3. 初步介绍
3.1. NSGA-II
Deb等人[17]提出的NSGA-II是一种经典的多目标优化进化算法，广泛应用于工程优化和调度。其核心原理模拟生物进化，使用非支配排序和拥挤距离计算从种群中筛选出一个均匀分布的、收敛良好的帕累托最优解集，从而平衡多目标冲突并近似真实帕累托前沿。

NSGA-II通过非支配排序对种群进行分层：如果一个个体在所有目标上的表现都不差，并且在至少一个目标上表现更好，则该个体“支配”另一个个体。该过程涉及计算每个个体的?p（支配当前个体的个体数量）和σp（被当前个体支配的个体集合），将?p=0的个体分类到第一非支配层（F1），并在移除每一层后对剩余个体重复该过程。这种方法优先考虑优秀的多目标权衡性能，优化时间复杂度为O(????2)（其中M是目标数量，N是种群规模）。

为了保持种群多样性，NSGA-II引入了拥挤距离度量，用于量化其前沿层内个体的稀疏性。对于每个非支配层，边界个体（具有最大或最小目标值）被赋予无限的拥挤距离以确保保留；中间个体的拥挤距离计算如下：
?p = ?p + ?j2(P??+1) - ?j2(P???1) / ?max?? ? ?min??，
(1)
其中?j表示第j个目标函数，?j2(P??+1)和?j2(P???1)是排序列表中相邻个体的第j个目标值，?max??/?min??是当前层中第j个目标的最大和最小值。较大的拥挤距离表示周围的解决方案空间更稀疏，从而增强了帕累托前沿的多样性。

NSGA-II的选择策略结合了精英保留和 tournament 选择。精英保留机制将父种群（T??）和子种群（Q??）合并成一个混合种群R??（大小为2??），执行非支配排序，依次从较高层选择个体，并在某层超过目标种群规模（N）时保留那些具有较高拥挤距离的个体，从而保留高质量的解决方案。Tournament 选择随机选择个体，比较它们的支配关系和拥挤距离以选择更优的父代，指导种群的进化方向。

3.2. GWO
Mirjalili等人[60]提出的GWO是一种广泛应用于函数优化和工程设计的群体智能优化算法，以其简单的结构和强大的探索能力为特点。其核心概念模拟了灰狼群的社会层次结构和捕食机制，通过群体协作实现全局最优解搜索。

GWO采用严格的灰狼社会层次结构：α-wolves代表当前最优解并做出狩猎决策；β-wolves（次优解）协助α-wolves调整策略；γ-wolves执行上级狼的特定任务；δ-wolves遵循α、β和γ-wolves的指导以维持种群协调。这个层次结构引导种群朝向高质量解区域。

GWO的一个关键参数是收敛因子α，它随着迭代次数的增加而线性递减，从2减小到0。在早期迭代阶段，较大的α（接近2）增强了全局探索能力，而在后期阶段，较小的α（接近0）增强了局部利用能力，有效平衡了探索和利用能力。

GWO的位置更新依赖于两个核心公式：包围猎物公式和引导狼位置的加权平均值。包围猎物的公式计算如下：
D = |??·????2(t) ? ???(t)|，
(2)
???(t+1) = ????2(t) ? ??·D，
(3)
其中???(t)是当前个体位置，????2(t)是α、β或δ-wolf的位置，?? = 2?? ·??1 ? ??，?? = 2 ·??2（??1,??2 ∈[0,1]是随机向量）。A的绝对值调节探索强度（|??| >1表示全局探索，|??| <1表示局部利用），C引入随机扰动以避免局部最优解。基于α、β和δ-wolves的位置，新个体位置通过加权平均值生成：
???(t+1) = (????(t+1) + ????(t+1) + ???(t+1))/3，
(4)
其中????(t+1)、????(t+1)和???(t+1)分别是由α、β和δ-wolves引导的位置，确保了高质量基因的继承和探索范围的扩展。

3.3. Q学习
Q学习由Watkins和Dayan[61]提出，是一种不需要预先了解环境模型的无模型RL算法，广泛应用于动态调度、路径规划和智能控制。其核心思想是使代理通过与环境持续交互来学习状态-动作值函数（Q函数），从而优化决策策略。

在Q学习框架中，环境的当前状态定义为“状态”（s），代理的可执行操作称为“动作”（a）。Q函数Q?(s, a)量化了在状态s下执行动作a的预期长期奖励，较高的值表示更优的动作。Q学习的核心在于Q值更新机制，遵循时间差（TD）学习规则：
Q?(s, a) ← Q?(s, a) + γ[??+???max??′?(s′, a′) ? Q?(s, a)],
(5)
其中γ（学习率，通常为0.1–0.5）控制更新幅度以避免噪声引起的振荡，??（折扣因子，通常为0.8–0.95）权衡未来奖励的重要性，r是来自环境的即时奖励反馈，max??′?(s′, a′)表示新状态s′中最优动作的预期最大奖励。

为了平衡探索和利用，Q学习采用了??-贪婪策略。代理以1 ? ??（?? ∈[0,1]）的概率选择当前Q值最高的动作（利用），并以??的概率随机选择一个动作（探索），避免策略过早固化 和局部最优解。

这三种方法的集成在理论上得到了它们搜索行为互补性的支持。NSGA-II为EEHFSP组合部分提供了全局探索框架，而GWO则为优化冲突的能效目标提供了更集中的搜索努力。通过将这些方法嵌入强化学习结构中，Q学习代理克服了静态算法配置的刚性。它根据当前种群状态自主选择最有效的操作员，从而主动适应EEHFSP的特定优化环境。

4. 问题构建
HFSP的生产系统包含s个处理阶段（?? = {1,2,…,??}），每个阶段都配备了m台相同的并行机器。第k阶段的机器集合表示为???? = {1,2,…,??}，第k阶段的第i台机器称为???????。要调度的作业集合为?? = {1,2,…,??}；每个作业j必须按照固定的流程路径依次通过所有阶段，作业j的操作???????可以分配给该阶段的任何机器进行处理。

操作???????的基准处理时间为???????；如果分配给第k阶段的机器i，则实际处理时间会根据机器的运行参数进行调整。每个作业j都有一个指定的截止日期????；如果作业j的总完成时间???????（即最终阶段的完成时间）超过????，则会产生延误时间???? = max(0,??????? ? ????)。

调度的核心目标是同时优化三个目标：首先，最小化TT以确保订单按时交付；其次，通过利用TOU电价和机器关闭策略来减少TEC，从而降低能源支出；第三，通过碳配额和碳价格控制CTC以降低碳排放。同时，调度决策必须遵守固定作业流程路径和机器资源分配等约束，最终生成一个帕累托最优调度方案。

为了与现实世界的制造场景保持一致并简化模型复杂性，建立了一些假设。对于生产过程，作业处理不能中断，每台机器一次只能处理一个作业。作业遵循固定的流程路径，不得跳过或重复任何阶段，并且所有作业在时间0时都可用于调度，没有任何释放延迟。

在机器状态方面，机器有四种不同的运行模式——处理、待机、重启和关闭——每种模式都有独特的能耗特性。处理状态的能耗最高，计算为????????????，其中???????是速度-功率转换系数，???????是第k阶段的基准处理功率。待机状态的能耗较低，计算为???????，而重启状态——仅在机器关闭后重新启动时发生——使用的功率等于???????，并持续固定时间??????????。关闭状态的能耗为零，仅在机器的空闲时间超过“盈亏平衡时间”???????时激活——这是一个临界阈值，此时重启期间消耗的能源等于保持机器待机状态的能源。

在时间和能源相关因素方面，电价遵循TOU机制，???(t)表示时间t的电价，峰时、平价和谷时段之间存在显著差异。碳排放仅来源于机器能耗，有一个固定的碳排放因子??。碳交易系统采用“基线配额系统”：如果排放超过碳配额EA，则按碳价格????收费；如果排放低于配额，则不产生收入。

关于调度规则，不考虑作业运输时间、机器故障和维护时间。作业之间没有优先级约束，因此同一机器上的作业处理顺序可以灵活调整。此外，机器重启不能中断，一旦重启过程完成，机器必须立即进入处理状态或待机状态。

数学模型中涉及的符号在表1中定义。表1. 符号说明。EEHFSP的数学模型包含了优化目标和必要的运营约束，其表述如下：

min??????=??∑??=1????=??∑??=1max?(0,????????????), (6)
min?????????=??∑??=1??∑??=1??max∑??=1??????????·???(??), (7)
min?????????=????·max?(0,??·??∑??=1??∑??=1??max∑??=1????????????????), (8)
??????????=??????????·??????????·Δ???+??????????·??????????·??reset+???????????????·????????????????·Δ???, (9)
??∑??=1????????????????≤1,???∈????,??∈??,??∈??, (10)
??max∑??=1????????????????=1,???∈????,??∈??,??∈??, (11)
??∑??=1??∑??′=0,??′≠?????????′???=1,???∈????,??∈??, (12)
????????????????≤??????????,???∈????,??∈??,??∈??,??∈??, (13)
??????????≤??????????,???∈????,??∈??,??∈??, (14)
???????=???????∑??max??=1????????????????·Δ???, (15)
???????=???????+??max∑??=1????????????????·Δ???, (16)
??????????=??????????·????3???, (17)
???????+??·(1????????′???)≤???????,???∈????,??≠??′∈??∪{0},??∈??, (18)
????=???????, (19)
????≥????????????, (20)
??????????=0ifidletimeof???????>??????????, (21)
????????????????,????????????????,???????′???,??????????,??????????∈{0,1}, (22)

上述数学公式详细说明了调度问题的优化目标和物理约束。方程(6)–(8)定义了三个最小化目标。具体来说，方程(6)计算TT以确保及时交付；方程(7)通过整合不同机器状态下的功耗和TOU电价来计算TEC；方程(8)在基准配额系统下确定CTC，只有在实际排放量超过预先分配的许可量(?????)时才产生成本。虽然延迟和碳排放理论上可以经济地估算并合并到一个统一的成本函数中，但在本模型中它们被作为独立的目标。单一的标量化目标严重依赖于在现实市场中高度不稳定的预定义经济权重。通过分别评估它们，模型保留了多维的权衡空间，确保在某个特定维度上表现优异的潜在高质量解决方案不会在优化过程中被过早淘汰。

关于能源动态和机器状态，方程(9)汇总了来自处理、待机和重启活动的总能耗(??????????)。这一点通过方程(21)得到补充，该方程在机器的空闲时间超过盈亏平衡阈值(??????????)时强制执行节能关闭策略。方程(13)–(15)保持了机器状态、处理速度和工作分配之间的逻辑一致性。

调度方案的可行性由剩余的约束条件决定。方程(10)–(12)和方程(22)确保资源有效性，规定每台机器一次只处理一个任务，每个任务都遵循连续的路径，并且决策变量保持二值。最后，方程(16)–(20)严格执行时间逻辑。这些约束计算累积完成时间，保证任务按顺序进行，避免在同一台机器上发生重叠操作，其中使用了一个较大的正整数B。

5. 方法
5.1. QGN算法框架
QGN算法在图1中建立了一个分层闭环框架，将强化学习与双重优化策略相结合以提高搜索效率。作为高级控制器，Q-learning代理通过分析实时种群状态来调节优化轨迹，从而在迭代过程中动态平衡探索和利用的强度。在Q表的歷史价值估计的指导下，系统选择性地激活不同的操作路径。一个分支执行交叉和变异操作以实现细粒度的局部优化，而平行分支利用基于GWO的位置更新来促进粗粒度的全局搜索并减少过早收敛。图1显示了QGN算法的框架图。在生成候选解决方案后，该框架将这些不同路径的后代合并到一个统一的池中。然后使用基于非支配排序和拥挤距离计算的选择机制来筛选高质量个体以进行后续生成。优化周期通过将性能改进量化为奖励信号来结束。这些信号被反传以更新决策策略，使代理能够根据具体问题状态迭代地改进其操作选择策略。

5.2. NSGA-II基础模块
NSGA-II基础模块是QGN算法的核心多目标优化框架。它负责种群排序、筛选和精英保持任务，为基于GWO的探索和Q-learning驱动的决策提供了高质量的初始种群基础。其设计侧重于三个关键步骤，包括非支配排序、拥挤距离计算和精英选择，以确保多目标优化的收敛性和解决方案集的多样性。

5.2.1. 编码和解码
本研究采用基于排列的编码方案来解决混合流动车间调度问题。一个包含所有作业索引的单一整数序列??代表了处理优先级。这种简化结构消除了对复杂机器分配变量的需求，并有效减少了搜索空间。解码过程使用列表调度规则将这个作业序列转换为一个具体的调度。在第一阶段，算法严格按照序列??的初始顺序处理作业。调度器遍历当前阶段中所有可用的机器，并选择允许作业最早完成的特定机器。对于每个后续处理阶段，算法首先根据上一阶段的完成时间按非递减顺序重新排序序列??。这种动态排序机制确保较早到达的作业优先获取处理资源。一旦序列更新，调度器将每个作业分配给在当前阶段最小化完成时间的机器。这种贪婪策略在所有阶段中迭代应用，直到生成整个调度。具体过程如算法1所示。

5.2.2. 初始化
初始化过程通过结合启发式指导和随机多样性来生成初始种群。算法首先使用改进的NEH启发式构建针对三个优化目标的高质量种子解。它计算每个作业的总处理时间，并按降序对整个作业集进行排序以形成优先级列表。对于每个目标，构造器从这个列表中选择前两个作业来生成一个初始的部分序列，以最小化特定目标值。然后算法依次处理排序列表中的剩余作业。在每一步中，调度器将当前作业插入到现有序列中产生最有利目标值的那个位置。这三个启发式驱动的解决方案作为精英种子来指导初始搜索。随后，算法通过生成随机作业排列来填充种群的其余部分，直到集合的基数达到指定限制。这种混合策略确保算法从强有力的候选者开始，同时保持足够的遗传多样性。具体过程如算法2所示。

5.2.3. 遗传操作
遗传操作对于促进种群多样性和引导向最优解的收敛至关重要。对于交叉，采用了三种策略，如图2所示。部分映射交叉(PMX)在父代个体之间交换子序列，通过映射机制保持剩余元素的相对顺序以避免冗余或遗漏。两点顺序交叉(2p-OXO)在两个随机指定的交叉点之间交换片段，同时保持非交叉区域的完整性以平衡遗传继承和探索潜力。均匀交叉(UX)实现元素级的重组，每个元素从任一父代继承的概率相等，以支持细粒度的解决方案优化。对于变异，补充策略引入有针对性的扰动。交换变异在两个随机选择的位置交换值，引入局部调整以逃离局部最优解。插入变异将随机选择的元素重新定位到序列中的另一个位置，修改结构安排以探索新的解决方案空间。插入变异通过反转随机选定子序列中元素的顺序来进一步扩展搜索范围并增强种群多样性。

5.3. 基于GWO的增强探索策略
该模块结合了Grey Wolf Optimizer的基于向量的搜索能力，以减轻标准NSGA-II中经常遇到的过早收敛问题。通过将群体智能嵌入进化过程中，算法在遗传变异和方向性探索之间建立了动态平衡。

5.3.1. 双路径后代生成机制
传统的NSGA-II仅依赖于交叉和变异操作符，这可能会限制高维调度问题中解决方案空间的探索。QGN算法通过实施并行双路径生成策略来解决这个问题，如图3所示。该过程首先通过锦标赛选择从父种群????中提取前N个个体，构建一个高质量的精英集????????????????。这个精英集作为两个同时进化轨迹的共同前导。在第一条路径中，GWO位置更新机制对精英进行操作以生成一组探索性后代W。同时，第二条路径对相同的精英集应用遗传交叉和变异操作符以产生一组进化后代O。这两个不同的集合随后合并为一个临时种群??????????，大小为2??。为了确定下一代的最终后代种群，算法应用分层筛选标准：首先通过快速非支配排序将??????????中的解决方案分层为Pareto前沿，然后逐层招募个体。当某个前沿的包含量超过种群限制N时，根据它们的拥挤距离优先考虑该层中的个体。这种双路径机制确保种群受益于群体智能的广泛搜索范围和遗传操作的随机多样性。

5.3.2. 自适应参数控制方案
GWO中的收敛因子a控制从全局探索到局部利用的转换强度。依赖于原始GWO的静态线性衰减特性限制了算法对能源高效调度复杂景观的适应性。为了增强鲁棒性，制定了一个三级控制方案。线性递减策略作为基线，????????????? =2 ?2????/??，为迭代提供了收敛稳定性的基本保证。在此基础上叠加了一个由Q-Learning代理驱动的动态调整机制，根据实时优化状态（例如Pareto前沿比的波动）来调节a。例如，检测到种群多样性下降时，会触发a的上调以扩大探索范围。此外，为了防止参数偏离，边界约束将a限制在[0,2]的范围内，并通过软约束机制对超出范围的行动施加奖励惩罚。这种分层控制确保算法可以根据优化阶段的特定需求自主调整其搜索重点。

5.3.3. Pareto驱动的位置更新策略
与传统的顺序混合算法不同，提出的双路径机制允许种群通过两条不同的但相互交互的路径进化：遗传路径通过交叉和变异保持结构特征的继承，而GWO路径基于社会优势促进方向性移动。这两种路径不是孤立运行的；相反，它们共享一个共同的精英池，并受到统一的基于Pareto的选择标准的约束。这种协同作用确保了GWO路径的优越收敛速度和NSGA-II路径的广泛探索范围的结合，创造了比单独使用任何一种方法都更强大的搜索效果。虽然位置更新逻辑参考了第3.2节中定义的GWO的标准数学模型，但其实现针对多目标优化进行了定制。与原始GWO不同，在这种混合架构中，领导角色不是由单一目标适应度值确定的，而是由??、??和??狼的等级在非支配排序中的排名决定的。这些高质量精英代表了当前Pareto前沿的最佳近似值，指导剩余个体在连续向量空间中更新它们的位置。这种机制有效地将标准GWO更新转化为定向的“超级变异”操作符。通过允许群体智能组件由通过NSGA-II过滤的Pareto最优精英指导，算法实现了GWO增强探索能力的同时，NSGA-II确保了向多样化和最优权衡前沿的收敛。基于Q学习的自适应控制
为了应对多目标能源高效生产调度（EEHFSP）中固有的权衡，该模块作为QGN框架内的高级决策控制器发挥作用，如图1所示。通过建立“状态感知、策略执行和反馈评估”的闭环，算法自主控制优化轨迹，根据实时的种群动态从全局探索转向局部利用。这种自适应机制确保NSGA-II和GWO之间的互动不是简单的组合，而是一种战略性协同作用，旨在最大化向真实帕累托前沿的收敛压力。

5.4.1. 状态-动作空间构建
准确感知优化环境是智能决策的先决条件。为了全面反映种群的状态，构建了一个多维状态向量S：
$$\mathbf{S} = [\hat{\lambda}_g, \mathbf{R}_p, \mathbf{D}_a\mathbf{v}_g, \mathbf{F}, \mathbf{a}]$$
其中 $\hat{\lambda}_g$ 表示迭代进度；$\mathbf{R}_p$ 代表帕累托前沿比率，指示收敛水平；$\mathbf{D}_a\mathbf{v}_g$ 反映解决方案分布的均匀性；$\mathbf{F}$ 综合了当前在TT、TEC和CTC目标上的性能与历史最优解的比较；$\mathbf{a}$ 是GWO的探索参数。基于此感知状态，代理从离散动作空间 $\mathbf{A} = \{ \mathbf{A1}, \ ..., \mathbf{A9} \}$ 中选择一个动作，该空间包含了前几节中定义的算法操作符。具体来说，动作集分为三类战略组：基因交叉操作符（$\mathbf{A1}$：PMX，$\mathbf{A2}$：2p-OXO，$\mathbf{A3}$：UX）以促进基因交换；变异操作符（$\mathbf{A4}$：交换，$\mathbf{A5}$：插入，$\mathbf{A6}$：反转）以引入随机扰动；以及GWO参数控制（$\mathbf{A7}$：增加a，$\mathbf{A8}$：减少a，$\mathbf{A9}$：保持a）以调节群体行为。这种映射使代理能够动态优先选择操作符，例如在停滞期间偏好 $\mathbf{A4}$–$\mathbf{A6}$ 来逃离局部最优解，或在后期选择 $\mathbf{A8}$ 来提高收敛精度。此外，GWO的数学表述为强化学习代理提供了最优且高度响应的控制接口。动态调整单一连续收敛参数a提供了一个简洁而强大的动作空间。

5.4.2. 多目标动态奖励
为了有效地引导代理朝向帕累托前沿，制定了一个超越简单目标聚合的动态奖励函数。原始奖励 $\mathbf{r}_{\text{ab}}$ 来自于执行的动作在三个目标上的相对改进：
$$\mathbf{r}_{\text{ab}} = \beta\mathbf{T}\mathbf{T}\mathbf{\lambda}\mathbf{T}\mathbf{\lambda}\mathbf{T} + \beta\mathbf{T}\mathbf{E}\mathbf{C}\mathbf{\lambda}\mathbf{T}\mathbf{E}\mathbf{C} + \beta\mathbf{T}\mathbf{C}\mathbf{T}\mathbf{\lambda}\mathbf{T}\mathbf{C}\mathbf{C}$$
（23）
这里，$\lambda_j$ 表示目标j的相对改进率。为了减轻这些目标不同幅度造成的偏差，一个标准化过程将改进映射到一个统一的尺度：
$$\lambda_j, \nu_{\text{o}}\mathbf{r}_{\text{m}} = \frac{\lambda_j - \lambda_j}{\lambda_j, \nu_{\text{m}}\ln(\lambda_j, \nu_{\text{m}}\)$$
（24）
关键的是，引入了一种动态加权方案，其中权重与每个目标的优化排名成反比：
$$\beta_{\text{dy}}\mathbf{y}_{\text{n}}\mathbf{a}_{\text{m}}\mathbf{i}}\mathbf{c} = 1 - \frac{\mathbf{r}_{\text{a}_{\text{n}}\mathbf{k}}{\sum_{k=1}^{3}\mathbf{r}_{\text{a}_{\text{n}}\mathbf{k}/3}$$
（25）
这种机制迫使代理关注“较弱”的目标，确保在所有冲突目标之间实现平衡优化。此外，为了使学习信号与进化生命周期对齐，对奖励进行了阶段依赖的调制，得到最终调整后的奖励 $\mathbf{r}_{\text{ad}}\mathbf{ud}}\mathbf{i}}\mathbf{s}\mathbf{t}\mathbf{e}\mathbf{d}$：
$$\mathbf{r}_{\text{ad}}\mathbf{ud}}\mathbf{i}}\mathbf{s}\mathbf{t}\mathbf{e}\mathbf{d} = \omega_{\text{s}}\mathbf{t}\mathbf{a}_{\text{g}}\mathbf{2}\cdot(\beta_{\text{dy}}\mathbf{y}_{\text{n}}\mathbf{a}_{\text{m}}\mathbf{i}}\mathbf{c}\mathbf{T}\mathbf{\lambda}\mathbf{T}\mathbf{\lambda}\mathbf{T},\nu_{\text{o}}\mathbf{r}_{\text{m}+\beta_{\text{dy}}\mathbf{y}_{\text{n}}\mathbf{a}_{\text{m}}\mathbf{i}}\mathbf{c}\mathbf{T}\mathbf{\lambda}\mathbf{\lambda}\mathbf{T},\nu_{\text{o}}\mathbf{r}_{\text{m}+\beta_{\text{dy}}\mathbf{y}_{\text{n}}\mathbf{a}_{\text{m}}\mathbf{i}}\mathbf{c}\mathbf{T}\mathbf{\lambda}\mathbf{E}\mathbf{C}\mathbf{\lambda}\mathbf{T},\nu_{\text{o}}\mathbf{r}_{\text{m}}$$
（26）
其中 $\omega_{\text{s}}\mathbf{t}\mathbf{a}_{\text{g}}$ 是一个时间变系数，它在早期阶段放大探索导向动作（例如GWO调整）的奖励，而在后期阶段激励精确的目标改进。

5.4.3. 策略更新和执行流程
控制策略的核心在于迭代更新Q表，该表将状态-动作对映射到预期的长期奖励。利用多目标奖励机制计算的反馈，代理根据时间差误差更新其知识库：
$$\mathbf{Q}(s, \mathbf{a}) \leftarrow \mathbf{Q}(s, \mathbf{a}) + \gamma\left[\mathbf{r}_{\text{ad}}\mathbf{ud}}\mathbf{i}\mathbf{s}\mathbf{t}\mathbf{e}\mathbf{d} + \alpha\max_{\mathbf{a}^\prime}\mathbf{Q}(s^\prime, \mathbf{a}^\prime) - \mathbf{Q}(s, \mathbf{a})\right]$$
（27）
QGN算法的执行流程遵循图3中所示的逻辑。在每一代中，代理首先感知当前状态 $\mathbf{s}$ 并使用 $\gamma$-贪婪策略选择一个动作以平衡探索和利用。根据所选动作属于基因集（$\mathbf{A1}$–$\mathbf{A6}$）还是GWO集（$\mathbf{A7}$–$\mathbf{A9}$），算法分支到基因进化或基于GWO的探索以生成后代。在种群合并和筛选之后，计算调整后的奖励 $\mathbf{r}_{\text{ad}}\mathbf{ud}}\mathbf{i}\mathbf{s}\mathbf{t}\mathbf{e}\mathbf{d}$ 以更新Q表。这种批量更新机制通过平均个别进化步骤中的随机噪声来稳定学习过程，使算法能够演化出针对特定调度实例的稳健控制策略。具体过程如算法3所示。

算法3 QGN
1: 输入：作业集、机器参数、能耗/碳成本数据、种群规模N、最大迭代次数T
2: 输出：帕累托最优解集
3: 设置参数：$\gamma = 0.1$，$\alpha = 0.9$，$\epsilon = 0.1$，初始$\mathbf{a} = 2$
4: 生成初始种群（规模N）
5: 初始化Q表（5维状态 × 9个动作，值设为0）
6: 计算初始目标值 $\mathbf{T}\mathbf{T}$，$\mathbf{E}\mathbf{C}$，$\mathbf{C}\mathbf{T}$；设置当前迭代次数 $\mathbf{g} = 0$
7: 当 $\mathbf{g} < \mathbf{T}$ 时：
8: 计算状态向量 $\mathbf{s} = [\hat{\lambda}_g, \mathbf{R}_p, \mathbf{D}_{\text{avg}}, \mathbf{F}, \mathbf{a}$
9: 选择父精英集 $\mathbf{T}\mathbf{a}\mathbf{r}\mathbf{e}\mathbf{n}\mathbf{2}$（规模N）
10: 选择动作 $\mathbf{a}_\text{2} \in \{\mathbf{A1}, \ ..., \mathbf{A9}\}$（使用$\epsilon$-贪婪策略）
11: 如果 $\mathbf{a}_\text{2} \in \{\mathbf{A1}, \ ..., \mathbf{A3}\}$，通过交叉生成后代 $\mathbf{O}$
12: 如果 $\mathbf{a}_\text{2} \in \{\mathbf{A4}, \ ..., \mathbf{A6}\}$，通过变异生成后代 $\mathbf{O}$
13: 如果 $\mathbf{a}_\text{2} \in \{\mathbf{A7}, \ ..., \mathbf{A9}\}$，通过GWO调整$\mathbf{a}$并生成后代 $\mathbf{W}$
14: 标准化 $\mathbf{O}$ 和 $\mathbf{W}$，合并到临时种群 $\mathbf{T}\mathbf{e}\mathbf{m}\mathbf{p}$（规模2N）
15: 筛选 $\mathbf{T}\mathbf{e}\mathbf{m}\mathbf{p}$ 以生成新种群（规模N）
16: 计算奖励 $\mathbf{r}_{\text{2}}$，获得新状态 $\mathbf{s}'$，并更新Q表
17: $\mathbf{g} = \mathbf{g} + 1$
18: 输出最终种群中的非支配解

5.5. 降低功耗策略
为了直观展示所提出的节能机制，图4中提供了一个对比性的甘特图。在这个示例中，灰色虚线块代表机器在两个连续作业之间的空闲状态，而切割块表示机器的关机和随后重新启动阶段。通过将长时间的空闲期转换为关机状态，该策略旨在减少电力消耗而不影响后续任务的完成时间。是否关闭机器或保持待机状态的核心决策取决于特定的时间阈值。如果空闲间隔不足以覆盖重新启动成本，机器将保持待机状态以确保效率。这种动态调整使系统能够智能地最小化能源浪费。

图4. 降低功耗策略的效果。在甘特图中，不同的颜色代表不同的作业，块内的数字表示它们对应的作业ID。两个连续作业（第q个作业和第（q+1）个作业）在机器$\mathbf{m}_\mathbf{k}$上的到达间隔$\mathbf{T}_\mathbf{I}_\mathbf{k}\mathbf{k}\mathbf{2}(\mathbf{q})\mathbf{q+1}$计算如下：
$$\mathbf{T}_\mathbf{I}_\mathbf{k}\mathbf{k}\mathbf{2}(\mathbf{q})\mathbf{q+1} = \mathbf{C}\mathbf{I}_\mathbf{k}\mathbf{k}\mathbf{2}(\mathbf{q+1})\mathbf{k} - \mathbf{P}\mathbf{I}_\mathbf{k}\mathbf{k}\mathbf{k}\mathbf{k}\mathbf{k},\mathbf{k} \in \mathbf{M}_{\mathbf{k}}, \mathbf{k} \in \mathbf{S}$$
（28）
其中C表示完成时间，p是处理时间，v是机器的速度。关闭机器的盈亏平衡时间$\mathbf{T}_\mathbf{V}_\mathbf{k}$定义为：
$$\mathbf{T}_\mathbf{V}_\mathbf{k} = \mathbf{T}_\mathbf{t}\mathbf{e}\mathbf{s}\mathbf{e}\mathbf{t}\mathbf{s}\mathbf{s}\mathbf{k},\mathbf{k} \in \mathbf{M}_{\mathbf{k}}, \mathbf{k} \in \mathbf{S}$$
（29）
其中$\mathbf{T}_\mathbf{t}\mathbf{e}\mathbf{s}\mathbf{e}\mathbf{t}$是重置时间，$\mathbf{e}\mathbf{s}\mathbf{k}$是重置期间的能耗，$\mathbf{e}\mathbf{s}\mathbf{k}$表示待机功率。如果$\mathbf{T}_\mathbf{I}_\mathbf{k}\mathbf{k}\mathbf{2}(\mathbf{q})\mathbf{q+1} > \mathbf{T}_\mathbf{V}_\mathbf{k}$，则机器将关闭；否则，它将保持待机状态，因为空闲期间的能耗低于重置成本。如果没有这种策略，机器将在任务之间的长间隔期间保持待机状态，导致显著的能源浪费。相反，当空闲时间超过盈亏平衡阈值时，机器状态将成功转换为关机和重置，从而有效地最小化总能源成本。

6. 实验和结果
6.1. 参数配置
为了全面验证QGN算法对不同生产场景的适应性，设计了三类共9个测试用例，涵盖了低产量和高混合、中等产量和标准化以及高产量和大规模场景。每个测试用例的格式为“作业数量–阶段数量–每个阶段的机器数量”（简称为n-s-m）。例如，“20-5-4”表示一个有20个作业、5个处理阶段和每个阶段4台机器的案例。
与调度和能量计算相关的核心参数根据工业实践和学术标准进行配置。作业j在阶段k的基准处理时间遵循均匀分布$\mathbf{U}_2[4,12]$，单位为小时。均匀并行机器的处理速度预设置为三个离散级别0.7、1.0和1.3，这些是相对于基础速度的无量纲值。速度-功率转换系数与机器速度相匹配，取无量纲值0.5、1.0和1.6。对于阶段k的机器功率参数，基准处理功率遵循$\mathbf{U}_2[4.5,11] \times 10^5$瓦；待机功率计算为0.35 $\times \hat{\lambda}_\mathbf{k} \times \mathbf{p}\mathbf{e}\mathbf{k}$瓦；重启功率为0.6 $\times \mathbf{s}\mathbf{e}\mathbf{k}$瓦；重启持续时间为1.2小时。
为了确保模拟的真实性，实验采用了浙江省2024年的工业分时电价政策，如表2所示。与碳排放和作业交付相关的环境和调度参数配置如下：具体来说，平均碳价为每吨CO2 72元人民币，每单位能量的碳排放系数设置为0.21吨CO2。碳配额计算为$1.2 \times \mathbf{n} \times \mathbf{s}$吨CO2，其中$\mathbf{n}$是作业数量，$\mathbf{s}$是阶段数量，将系数设置为1.2可以创建一个适度严格的碳约束。作业截止日期$\mathbf{d}_{\mathbf{j}}$ [62]由以下公式确定：
$$\mathbf{d}_{\mathbf{j}} = \max\left(0, \mathbf{U}_2[ \mathbf{T}_3(1-\tau-\mathbf{R}/2), \mathbf{T}_3(1-\tau+\mathbf{R}/2)\right)$$
（30）
其中P表示最大周期的下限，$\tau = 0.3$是延迟因子，$\mathbf{R} = 0.9$是截止日期因子，$\mathbf{U}_2[ \mathbf{a}, \mathbf{b}$表示区间[$\mathbf{a}, \mathbf{b}$内的均匀分布。

表2. 浙江省2024年工业分时电价政策。所有算法统一配置了基本参数以确保公平比较。种群规模设置为120，最大迭代次数指定为250。所有算法的终止标准设置为最大迭代次数。交叉概率为0.8，变异概率为0.25。对于Q学习参数，学习率为$\gamma = 0.1$，折扣因子为$\alpha = 0.9$，$\epsilon$-贪婪概率为$\epsilon = 0.1$。GWO参数基线遵循线性递减规则：$\alpha_{\text{baseline}} = 2 - 2^{-\mathbf{g}\mathbf{2}/\mathbf{T}$，其中$\mathbf{g}$表示当前迭代次数，$\mathbf{T}$表示总迭代次数。
为了全面评估QGN算法的性能，选择了四种代表不同多目标优化范式的代表性算法进行比较，参数严格根据它们原始研究设置以确保基准一致性。具体来说，QGN与经典NSGA-II [17]、改进的Jaya [63]、改进的MOEA/D [64]以及最新的QVNS算法 [46]进行了比较。选择了三个指标从三个维度评估算法性能：收敛性、多样性和计算效率，这些指标均符合国际学术标准的多目标优化标准。覆盖度指标（CM）衡量两组解之间的支配关系，公式为：
$$\mathbf{C}_M(\mathbf{A}, \mathbf{B}) = \left| \{\mathbf{b} \in \mathbf{B} | \exists \mathbf{a} \in \这些结果表明，QGN中的双路径搜索机制有效地扩展了解空间的覆盖范围，并避免了由于过早收敛而导致的多样性损失。表4. NPS结果。关于解的分布，表5中的SM结果显示，QGN的帕累托解分布更为均匀。该算法在18个解中获得了11个最佳解，其平均SM值在大多数情况下也是最低的。QGN还保持了较小的标准差，这表明其解的离散度较低。相比之下，Jaya算法和MOEA/D的SM值通常较高，这表明它们的解倾向于聚集在一起。值得注意的是，尽管最先进的QVNS算法具有出色的收敛能力，但在复杂情况下，其SM值往往略高于QGN的SM值。这种现象发生的原因是GVNS操作符在特定的局部最优解附近加强了搜索，导致解紧密聚集而不是均匀分布。相比之下，QGN利用基于GWO的向量更新来引导种群朝向多样化区域，同时依靠NSGA-II的拥挤距离机制来保持间距。这种双重机制确保了QGN生成了结构上最平衡的帕累托前沿。表5. SM结果。算法的统计稳定性通过图5中的SM箱线图得到了直观的证实。QGN的箱线图位于垂直轴的最低点，这证实了其卓越的平均均匀性。更重要的是，QGN的箱形高度在所有算法中是最窄的。这种窄形状表明在不同运行中的方差最小。另一方面，改进的Jaya和MOEA/D显示出了较大的中位数和更广泛的离散度，这反映了它们优化过程的不稳定性。QGN的紧密分布证实了自适应控制机制成功降低了随机波动性，确保了高质量调度方案的一致生成。图5. SM结果的箱线图。

6.3. 消融实验
为了分离Q学习、GWO和动态奖励机制的特定贡献，我们评估了三种不同变体与完整QGN框架在各种生产规模下的表现。这些变体包括不使用强化学习的配置（Q-1）、排除GWO的配置（Q-2），以及用固定权重替换动态奖励的配置（Q-3）。表6中的优势分析表明，完整的QGN算法始终优于这些简化版本。Q-2变体的表现最差，在大规模实例中，QGN大约占其解的91%。这种急剧下降证实了GWO的基于向量的搜索对于逃离局部最优解是不可或缺的。同样，Q-1变体的表现也落后，其覆盖度指标较低，证明了基于RL的自适应策略比随机操作符选择具有更高的搜索效率。表6. 消融实验的CM结果。表7和表8的进一步证据突出了这些模块对解多样性和均匀性的影响。QGN识别出的非支配解数量最多，在最大的测试案例中发现了54个，而无GWO的Q-2变体由于过早收敛而减少到了32个。同时，Q-3变体特别凸显了平衡机制的必要性。对固定权重的依赖导致间距度量显著下降，因为种群在特定目标附近聚集，缺乏动态奖励的补偿效果。这些发现共同证明，GWO确保了基线解决方案的质量，RL代理最大化了搜索效率，而动态奖励机制确保了在冲突目标之间的平衡。表7. 消融实验的NPS结果。表8. 消融实验的SM结果。

7. 结论
本研究解决了能源效率混合流动车间调度问题，旨在同时优化总延迟、能源成本和碳交易成本这些相互冲突的目标。为了有效地处理全局探索与局部利用之间的复杂权衡，我们开发了一种名为QGN的混合元启发式算法。这种方法结合了灰狼优化器的全球探索能力和NSGA-II的进化结构，并嵌入了一个Q学习模块作为高级决策控制器。通过建立状态感知和反馈的闭环机制，算法根据实时种群动态自适应地调整遗传操作符和搜索参数，从而克服了静态进化策略的固有刚性。在各种生产规模上的实证验证证实，QGN显著优于标准基线算法，包括NSGA-II、Jaya和MOEA/D。此外，结果表明QGN在解决方案的支配性方面具有明显的竞争优势，覆盖了比比较方法更宽的目标空间区域。该算法还保持了帕累托前沿上更均匀的分布，有效缓解了在高维优化中常见的聚集问题。进一步的研究表明，自适应学习和基于群体的探索的整合对于维持种群多样性和防止过早收敛至关重要，特别是在复杂的大规模调度场景中。虽然QGN算法在平衡收敛性和多样性方面表现优异，但当前框架内的某些限制仍值得讨论。首先，从计算复杂性的角度来看，Q学习代理和双路径搜索机制的集成导致了计算开销的轻微增加。尽管这种额外的成本通过解决方案质量的显著提升得到了合理化，但它意味着该算法可能需要针对超大规模实时调度场景进行优化。其次，当前模型假设了一个确定性的生产环境。虽然该算法能够有效管理异质能源消耗的复杂性，但它尚未考虑执行阶段可能出现的动态随机事件，如机器突然故障或紧急订单插入。这些方面代表了未来研究的方向，以进一步提高算法在不确定工业环境中的鲁棒性。未来的研究将把这个框架扩展到具有不确定性的动态制造环境中，包括随机机器故障和紧急订单插入。此外，还计划研究并行计算策略或轻量级网络架构，以进一步提高超大规模调度计算的效率。