面向再制造过程规划整合的能耗感知模糊柔性作业车间调度的多目标Q学习超启发式算法

《Neurocomputing》：Multi-objective q-learning hyper-heuristic for energy-aware fuzzy flexible job shop scheduling integrating process planning in remanufacturing

　　

**摘要**

再制造是工业脱碳的基石，然而报废产品固有的随机性导致加工路线和加工时间的变异，给调度带来了重大挑战。本研究针对再制造背景下的多目标能效模糊柔性作业车间调度问题（MO-EFFFJSP），整合了三个关键柔性维度：工艺路线选择、机床分配和可调功率设置。为应对工业固有的不确定性，采用三角模糊数（TFN）对加工时间进行建模，同时优化框架以最小化模糊完工时间和总能耗为目标。尽管超启发式方法在复杂调度中已证明有效，但在多目标环境中为高层策略设计自适应反馈机制仍是一项根本性挑战，尤其是在维持收敛压力与帕累托多样性之间的微妙平衡。为此，我们提出了一种多目标Q学习超启发式算法（MOQHH），其中Q学习智能体作为高层控制器，动态协调一组低层启发式算子。具体而言，MOQHH引入了纳入非支配解动态的状态表示以指导搜索过程，并基于拥挤距离设计奖励函数以保持帕累托多样性。在17个MO-EFFFJSP实例上的大量实验表明，MOQHH在超体积、覆盖率和收敛速度方面显著优于四种先进算法，验证了其在不确定性条件下可持续再制造调度中的有效性。

**引言**

随着全球向循环经济转型，再制造已从专业化的工业细分领域演变为关键战略需求。与传统制造将原材料转化为新产品不同，再制造专注于将报废（EOL）产品恢复至达到或超过原始性能规格的功能状态[2]，[44]。该方法保留了EOL产品中所含的固有能量和高价值材料，从而减少原生生产对环境的影响。具体而言，近期生命周期评估[1]表明，与传统设备制造相比，再制造可减少高达80%的资源开采和废物产生。此外，根据产品复杂程度不同，碳排放节约率记录在23%至87%之间，进一步巩固了再制造作为工业脱碳基石的地位。

与此同时，随着全球工业面临严格的碳中和法规和波动的能源市场，在高产出生产力与最小化能耗之间实现同步已成为可持续车间管理的主要挑战。在此背景下，能效再制造调度已从辅助考量转变为基本运营需求。例如，Wang等人（2025）提出了一种基于深度强化学习的能效报废产品拆解规划，适用于刺激激活自拆解产品。Fu等人（2024）研究了考虑能效的拆解、再加工和再装配集成再制造调度。

然而，再制造领域固有的不确定性特征显著。回收EOL产品的异质性状态给加工路线和加工时间带来了巨大的变异。这进一步体现在调度框架的两个关键挑战上。一方面，由于不同回收件退化程度各异，EOL产品可能与多种替代工序序列兼容，从密集修复到轻度表面处理不等。这要求模型能够对每个作业评估多种替代工艺方案，特定路线的选择将决定后续的机床分配和顺序约束[13]。另一方面，这些再制造操作中固有的时间不确定性难以用精确的确定性值来量化。为解决此问题，加工时间的变异通常采用模糊数进行建模[63]。该表示方法使优化过程能够考虑时间波动的风险，而无需实时调整所带来的复杂性，从而确保所得静态调度在可能的加工场景范围内保持稳健性。

本研究调查再制造调度中的再加工阶段，将其建模为一种特殊的柔性作业车间调度问题（FJSP）[5]。为增强模型的现实性和稳健性，整合了三个关键的柔性维度。第一，纳入工艺路线柔性，使每个作业可通过多种替代工序序列加工。第二，引入加工功率柔性，允许机床为每个工序配置不同功率水平，从而在加速加工时间和减少能耗之间实现可控的权衡。第三，为应对再制造任务固有的不确定性，采用三角模糊数（TFN）[15]表示不确定的加工持续时间。该问题被构建为多目标优化[6]，旨在同时最小化完工时间和总能耗。在后续章节中，该集成模型称为多目标能效模糊柔性作业车间调度问题（MO-EFFFJSP）。尽管现有文献已分别探讨这些复杂性，据我们所知，本研究代表了第一个将工艺柔性、功率级别优化和模糊不确定性综合到统一调度环境中的全面框架。

从计算角度看，MO-EFFFJSP是一个极其困难的NP-hard问题。其搜索空间不仅巨大，而且是多维的，需要同时优化路线选择、工序排序、机床分配和功率设置选择。虽然传统元启发式方法（如遗传算法或蚁群优化）在较简单变体中有效，但它们往往对参数敏感，且在问题景观变化时可能陷入局部最优。这为超启发式方法[8]，[51]，[62]的应用创造了 compelling 的理由。超启发式方法不直接搜索解空间，而是在启发式组合空间中搜索。通过自适应管理一组低层启发式算子（LLHs），算法可以动态调整搜索策略，在早期阶段部署积极探索，在后期阶段进行精细开发，使其在不同问题实例上比"一刀切"的元启发式方法更具稳健性。

超启发式方法已被广泛应用于各个领域，如物流优化[25]、自动化软件工程[37]和云资源分配[24]。在生产管理领域，它们特别适用于问题景观过于崎岖、单一元启发式方法难以有效导航的复杂调度环境。然而，在多目标优化背景下，设计有效超启发式方法的难度进一步升级。高层策略不仅需要识别哪些低层启发式算子能改进特定目标，还需理解如何维持帕累托最优性和种群多样性。这需要集成复杂的机器学习机制来处理多维反馈。因此，开发一种能够自主平衡冲突目标（如完工时间和能耗）的高层策略，代表了现代超启发式研究中的主要障碍之一[21]。

为应对这些挑战，本研究提出了一种多目标Q学习超启发式算法（MOQHH）。该框架采用Q学习[4]作为高层策略，自主观察进化搜索状态，从精选的六个算子池中自适应选择最有效的低层启发式算子。为导航多目标景观，集成了Chebyshev分解方法[28]，有效地将复杂的双目标问题分解为一组协调的标量子问题。这种分解允许Q学习智能体将搜索引导向分布均匀的估计帕累托前沿。此外，状态空间通过非支配解集派生的信息进行增强，为智能体提供了解支配度和收敛进度的直接度量。同时，基于拥挤距离重新定义奖励函数，激励选择能增强解集多样性和均匀性的算子。此外，MOQHH采用自适应奖励机制，在世代周期中动态调整优化优先级，从生产效率转向能源可持续性，从而模拟专家调度员在平衡即时截止日期与长期环境目标时的精细决策。MOQHH的性能在17个MO-EFFFJSP实例上进行了验证，并与四种先进算法进行了对比。实验结果表明，所提出的MOQHH在收敛速度、超体积和覆盖率方面具有显著优越性。

本研究的主要贡献总结如下：

- 建立了MO-EFFFJSP的综合数学模型，整合了工艺规划、机床分配和运行功率级别柔性，同时通过TFN建模解决再制造固有的不确定性。
- 引入了MOQHH框架，通过Q学习管理低层启发式算子，使算法能够从多维目标空间反馈中学习，自主选择最优启发式方法，从而提高解质量和适应性。
- 状态设计纳入非支配解数量的变化率，奖励设计利用拥挤距离指导探索，确保多目标搜索中收敛性与多样性的平衡。
- 大量实验表明，所提出的MOQHH在能效调度应用中维持收敛速度和帕累托多样性方面显著优于传统算法。

本文其余部分组织如下。第2节全面综述了现有文献，涉及能效再制造调度和多目标超启发式方法。第3节建立了MO-EFFFJSP的正式数学模型，详述其目标和约束条件。第4节描述了所提出MOQHH的架构，包括其高层学习策略和低层组件。第5节呈现实验设置、数值结果和对比性能分析。最后，第6节总结本研究的关键发现并概述未来研究方向。

**相关工作**

我们提出的方法与现有研究在问题特征、方法论和基于强化学习的高层策略设计方面的综合比较总结在表1中。

**问题描述**

如图1所示，本研究考虑的MO-EFFFJSP可视为传统FJSP的泛化和增强版本。在实际柔性制造环境中，作业加工不再局限于预定机床或固定工艺路线，而是表现出三种基本柔性形式：工艺方案柔性、机床分配柔性和作业执行柔性。同时，生产系统必须同时应对

**所提方法**

为解决MO-EFFFJSP，本研究提出了一种多目标Q学习超启发式算法（MOQHH）。该算法采用Q学习作为高层策略，从六个问题特定的低层启发式算子中自适应选择，同时集成分解方法以维持帕累托解集。

**测试实例**

测试实例来源于[45]，并进行了适配以纳入模糊加工时间。共有17个实例，作业数量从6到70不等，工艺路线从16到140不等，工序从8到24不等，机床从3到11不等。特定实例用三元组表示，分别代表作业数量、工序数量和机床数量。

模糊加工时间是从原始基准中的确定性加工时间推导而来

**结论**

本研究为模糊加工时间不确定性条件下的再制造环境开发了MO-EFFFJSP的集成优化框架。所提出的MOQHH自适应利用基于Q学习的高层策略协调六个专用低层启发式算子，基于进化反馈自适应引导搜索过程。此外，引入基于非支配解的状态表示和基于拥挤距离的奖励函数以增强多目标学习效果。

**CRediT作者贡献声明**

潘晓天：原稿撰写、方法论、资金获取。许元博：原稿撰写、方法论。李裕鹏：原稿撰写、软件。许斌：原稿撰写。何振楠：原稿撰写。何一凡：原稿撰写、监督、方法论。朱磊：方法论。张国道：监督、方法论。

**利益冲突声明**

作者声明他们不存在已知的竞争经济利益或个人关系，这些可能影响本文所报告的工作。

**致谢**

本工作得到浙江省自然科学基金（项目编号：LQ24F030013、LQN26F030004）、国家统计科学研究项目（2025LY104）和温州重大科技创新项目（项目编号：ZY2024025）的支持。

潘晓天于2022年获得浙江工业大学博士学位。她目前是杭州电子科技大学讲师，中国杭州。她的研究兴趣包括智能调度和多目标优化。

潘晓天|许元博|李裕鹏|许斌|何振楠|何一凡|朱磊|张国道

中国杭州电子科技大学媒体与设计学院，杭州310018