双层Q学习引导的NSGA-II算法在考虑多产品订单的综合生产调度与库存决策中的应用

《Expert Systems with Applications》：Double-layer Q-learning guided NSGA-II for integrated production scheduling and inventory decision considering multi-product orders

多产品订单协同优化；生产调度与库存决策集成；双层Q学习；NSGA-II改进算法；分布式混合流车间；库存资本占用；订单延迟惩罚；制造系统灵活性|

　　在制造业向服务化转型的背景下，备件生产与供应已成为企业构建可持续竞争优势的重要手段。随着技术垄断优势的增强，企业可以通过销售原装备件获得持续且显著的经济效益。同时，高效的备件服务能够降低客户设备停机的风险，从而形成“通过备件锁定客户”的正向反馈机制，提升客户忠诚度和品牌影响力。然而，在实际生产过程中，当企业面临短交货周期、差异化备件需求以及资源约束时，常常陷入响应速度、库存成本与交货可靠性之间的多维困境。这一困境的一个重要原因在于备件生产过程中生产资源利用效率低下，以及缺乏跨职能协作机制。因此，如何系统地优化备件供应系统中的生产调度、库存配置与资源分配策略，并在有限资源条件下实现备件交付效率与成本效益的帕累托改进，成为运营管理领域亟待解决的关键问题。

在当前的备件供应系统中，存在两种主流模式：按库存生产（Make-to-Stock, MTS）和按订单生产（Make-to-Order, MTO）。在MTS模式下，企业通过需求预测技术预判后续周期的备件需求，安排当前周期的生产与库存储备。随后根据预设的交货期限执行交付。虽然这种模式有效降低了订单延迟并缩短了交货周期，但存在库存过剩和资本利用低效的风险。相反，在MTO模式下，企业仅在收到客户订单后才启动生产，完成的备件直接发往客户，实现零库存操作。然而，受制于生产能力的刚性约束，MTO模式在需求高峰期难以避免交货延迟。值得注意的是，这两种模式都将库存管理和生产调度视为先后顺序且相互独立的过程，忽视了它们作为动态订单履约的双渠道所具有的协同潜力。当生产资源有限时，纯粹的MTO模式可能无法满足订单交付时间要求。因此，战略上在生产周期前准备一定量的备件库存，有助于缓解后续的生产能力压力。更重要的是，借助MTO模式的实时生产能力，企业可以将非紧急订单推迟到当前周期进行直接交付。这种集成策略结合了MTS和MTO的优势，既减少了库存占用的资本，又增强了对需求波动的灵活性，优化了受限生产能力的利用，确保订单的及时交付。最终，实现了成本效率与服务卓越的双重目标。先进的传感与健康监测技术（如Lv和Shen, 2023所述），结合订单紧急性的固有差异，为该模型的可行性提供了支撑。然而，一个关键挑战依然存在：如何开发科学的方法论，基于订单的特定特征（如紧急程度、订单量、交货期限）协调生产调度与库存决策，从而实现两者功能的集成优化。这一问题亟需深入研究。

为应对客户设备可能出现的问题，制造商必须根据需求预测及时准备所需的备件。这些备件订单往往具有多类别协同交付的特点。例如，汽车备件订单通常涉及多种型号的备件供应（Li, 2010），而飞机发动机组件更换可能需要同时更换多个相关组件以确保整体兼容性（Feng等, 2021）。然而，以往的研究大多基于“单产品订单”的假设，即客户订单被假定仅包含同质产品，调度研究则基于单个或批量项目的处理。这种假设在经典调度理论（如作业车间和流水车间调度问题）以及库存优化模型中普遍存在。尽管它显著降低了问题解决的复杂性，但与实际商业场景存在较大偏差（Bourgeois等, 2023）。实际上，忽视多产品备件订单的异质性可能导致生产计划与需求不匹配、部分订单延迟引发的客户索赔等问题，最终在应用于实际多产品订单场景时产生次优解。这些局限性凸显了重构调度模型以适应多产品订单特征的必要性。

基于上述研究发现，本文聚焦于分布式混合流水车间环境，这是一种在离散制造行业中常见的配置，提出了一种考虑多产品订单的集成生产调度与库存决策优化问题（简称IPSID-MPO），如图1所示。在生产周期开始时，制造商预测来自地理分布客户的一组备件订单，这些订单将在下一个周期内完成。每个订单包含一个或多个异质产品类型，所有订单中不同的产品类型总数为r。交付仅在订单中的所有产品完成之后启动。为了确保订单按时交付，同时减少库存占用的资本，制造商采用了一种协调的生产与库存策略：（1）在下一个周期开始时，安排一部分产品进行加工，并明确分配到工厂、加工顺序和机器选择；（2）其余产品则要么在当前周期提前生产，要么从现有库存中调配并储存在仓库中。目标是通过生产调度与库存决策的最优协调，最小化总库存占用资本和总订单延迟惩罚。

针对分布式混合流水车间调度问题（DHFSP），已有许多高效的算法被开发出来，包括非支配排序遗传算法II（NSGA-II）（Luo等, 2023）、分布估计算法（EDA）（Zheng等, 2020）以及蛙跳算法（FLA）（Lei和Wang, 2020）。其中，NSGA-II及其改进版本由于其在复杂优化场景中的可靠性能（如车间调度和资源分配），成为解决DHFSP问题最常用的算法之一（Neufeld等, 2023）。同时，随着近年来强化学习方法的广泛应用，越来越多的学者将强化学习与元启发式算法相结合。这些方法利用算法执行过程中积累的经验，帮助元启发式算法自适应调整参数或进行战略决策，从而进一步提升算法性能（Shao等, 2022a；Luo等, 2024）。然而，这些优化算法未能有效解决本文提出的IPSID-MPO问题。原因在于，一方面，在现有的DHFSP研究中，库存与生产通常被视为两个独立的过程，库存常作为约束条件，协助制造商制定更合理的调度方案；另一方面，制造商接收的订单通常被假设为单个订单或批量订单，未考虑单个订单中多个产品之间的异质性及相应的交付约束。因此，这些算法无法指导制造商在处理多产品订单时制定生产调度与库存决策策略。

受上述讨论的启发，本文研究了考虑多产品订单的集成生产调度与库存决策优化问题，其双目标为最小化总库存占用资本和总订单延迟惩罚。随后，建立了一个混合整数线性规划（Mixed-Integer Linear Programming, MILP）模型，以数学方式刻画该问题。在确保解决IPSID-MPO问题的前提下，本文在NSGA-II算法的基础上，提出了一种由双层Q学习机制引导的增强型NSGA-II算法（称为DQ-NSGA）。本文的主要贡献包括以下几个方面：

首先，本文探讨了在分布式混合流水车间环境中，考虑多产品订单的生产调度与库存决策的集成优化问题。通过将库存与生产视为订单履约的双供应源，所提出的方法使制造商能够提升交付性能，同时缓解与库存相关的财务负担。

其次，本文提出了一种由双层Q学习机制引导的增强型NSGA-II算法，用于解决所构建的问题。该算法的性能通过精心设计的基于订单的解码方法、高效的混合初始化策略、四个知识驱动的局部搜索算子以及双层Q学习机制得到了显著提升。

最后，本文进行了广泛的计算实验，以验证所提出的增强策略和算法的有效性。此外，通过实验进一步论证了考虑多产品订单的必要性，以及集成生产调度与库存决策框架的优越性。与现有的生产实践相比，所提出的集成模型在缓解库存相关财务负担、减少订单延迟惩罚以及提升制造系统的灵活性方面展现出显著优势。

本文的结构安排如下。第二部分对相关文献进行了全面回顾。第三部分详细描述了所研究的问题及其数学建模。第四部分介绍了所提出的算法，包括其关键组成部分和具体实现方式。第五部分展示了实验结果，并通过对比分析验证了所提出的方法论。第六部分总结了本研究，并提出了未来研究的潜在方向。

在相关文献的回顾部分，本文对三个与研究相关的领域进行了综述：（1）分布式混合流水车间调度问题，（2）集成生产与库存优化，以及（3）强化学习增强的元启发式算法。这些领域的研究为本文提供了理论基础和技术支持。分布式混合流水车间调度问题近年来受到广泛关注，因为其在复杂制造系统中的广泛应用。相关研究主要集中在如何优化调度策略以提高生产效率、减少交货延迟和库存成本。然而，大多数研究仍然基于单产品订单的假设，未能充分考虑多产品订单的异质性和协同交付需求。

集成生产与库存优化是运营管理领域的一个重要方向，其目标是通过优化库存管理与生产调度策略，实现成本与交付效率的平衡。在这一领域，研究主要集中在如何建立数学模型以描述生产与库存的协同关系，以及如何设计高效的算法以求解这些模型。然而，由于多产品订单的复杂性，许多研究未能充分考虑订单之间的异质性，导致优化策略在实际应用中效果不佳。

强化学习增强的元启发式算法是近年来发展迅速的一种优化方法，其通过将强化学习的自适应学习能力与元启发式算法的全局搜索能力相结合，提升算法在复杂优化问题中的性能。这些方法在处理多目标优化问题时表现出较强的适应性和鲁棒性。然而，在处理多产品订单的集成优化问题时，这些方法仍然存在一定的局限性，特别是在协调生产调度与库存决策方面。

在问题描述部分，本文详细介绍了所研究的IPSID-MPO问题。该问题的特征包括多产品订单的协同交付需求、有限的生产资源和严格的交货期限。制造商需要在分布式混合流水车间环境中协调生产与库存，以满足客户备件订单的需求，同时最小化库存占用的资本和订单延迟惩罚。这一问题的数学建模主要涉及生产调度、库存配置以及订单交付的协同关系。通过建立混合整数线性规划模型，本文能够系统地描述问题的约束条件和优化目标。

在所提出的DQ-NSGA算法部分，本文详细介绍了该算法的结构和实现方式。该算法基于NSGA-II算法的精英保留策略和快速非支配排序机制，具有较强的多目标优化能力。然而，NSGA-II算法在处理多产品订单问题时存在一定的局限性，特别是在固定交叉变异概率和单调环境响应策略方面。为此，本文引入了双层Q学习机制，以增强算法在多目标优化问题中的适应性和灵活性。该机制通过学习订单的特定特征，如紧急程度、订单量和交货期限，指导算法在不同订单需求下的自适应调整。此外，本文还设计了基于订单的解码方法，以确保生产调度与库存配置的协同性。通过高效的混合初始化策略，该算法能够快速生成高质量的初始解，从而提高求解效率。四个知识驱动的局部搜索算子则进一步优化了解的质量，确保算法在复杂问题中的稳定性。

在实验结果与分析部分，本文展示了广泛的计算实验，以验证所提出的方法和算法的有效性。实验采用了MATLAB R2016b进行实现，并在配备Intel? Xeon? Gold 6242R CPU @ 3.10 GHz的计算机上执行。所有算法采用相同的运行时间作为停止条件，以确保实验的公平性和可比性。对于不同的实例，算法的最大运行时间被设定为实验的基准。实验结果表明，所提出的DQ-NSGA算法在求解IPSID-MPO问题时表现出优越的性能。与主流比较算法相比，该算法在减少库存占用资本和降低订单延迟惩罚方面具有显著优势。此外，实验还验证了考虑多产品订单的必要性，以及集成生产调度与库存决策框架的优越性。与传统的生产方式（如MTS和MTO）相比，所提出的集成模型在缓解库存相关财务负担、减少订单延迟惩罚以及提升制造系统灵活性方面展现出显著优势。

在结论部分，本文总结了所研究的IPSID-MPO问题及其解决方案。通过将库存与生产视为订单履约的双供应源，所提出的方法使制造商能够实现交付性能与成本效益的平衡。同时，本文通过建立混合整数线性规划模型，系统地描述了问题的约束条件和优化目标。所提出的DQ-NSGA算法在解决该问题时表现出良好的性能，能够有效协调生产调度与库存决策，以满足客户需求并减少财务负担。此外，实验结果表明，该算法在处理多产品订单时具有较强的适应性和灵活性，能够应对复杂的订单需求和资源约束。因此，本文提出的集成模型在制造业向服务化转型的背景下，具有重要的应用价值和研究意义。

本文的研究不仅为制造业的备件供应系统提供了新的优化思路，还为相关领域的算法设计和应用提供了理论支持。通过将强化学习与元启发式算法相结合，本文开发了一种具有较强适应性的优化算法，能够有效处理多产品订单的复杂性。此外，本文提出的解码策略和混合初始化策略，为算法在实际应用中的性能提升提供了新的方法。四个知识驱动的局部搜索算子则进一步优化了解的质量，确保算法在复杂问题中的稳定性。

在实际应用中，所提出的IPSID-MPO模型能够帮助制造商在有限资源条件下实现库存占用资本和订单延迟惩罚的最小化。通过协调生产调度与库存决策，该模型能够有效提升制造系统的灵活性，满足客户多样化的需求。同时，该模型能够减少库存相关财务负担，提高交付效率，为制造业的可持续发展提供支持。因此，本文的研究不仅具有理论价值，还具有重要的实践意义。

在作者贡献声明部分，本文作者的贡献包括：Juan Zhou负责撰写和修改论文，提出研究方法，进行形式化分析，开发软件，以及进行概念设计；Qianwang Deng负责概念设计、监督和资金获取；Yinwen Ma负责验证和软件开发；Rui Pan负责形式化分析和概念设计；Jingxing Zhang负责分析；Mao Tan负责项目管理。在竞争利益声明部分，本文作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文所报告的工作。在致谢部分，本文得到了部分支持，包括国家自然科学基金（Grant No. 52475517）、国家汽车设计与制造技术重点实验室（Grant No. 72375003）、国家重点研发计划（Grant No. 2020YFB1712100）以及湖南省研究生创新基金（Grant No. CX20250553和CX20250541）。这些支持为本文的研究提供了重要的资源保障，使研究能够在实际应用中取得良好的成果。

综上所述，本文通过研究考虑多产品订单的集成生产调度与库存决策优化问题，提出了一种新的优化方法，即双层Q学习引导的非支配排序遗传算法II（DQ-NSGA）。该方法通过将库存与生产视为动态订单履约的双渠道，有效协调了两者之间的关系，提升了交付效率和成本效益。实验结果表明，该方法在减少库存占用资本和降低订单延迟惩罚方面具有显著优势。此外，该方法还增强了制造系统的灵活性，使企业在面对多产品订单时能够更有效地配置资源。因此，本文的研究不仅为制造业的备件供应系统提供了新的优化思路，还为相关领域的算法设计和应用提供了理论支持。通过将强化学习与元启发式算法相结合，本文开发了一种具有较强适应性的优化算法，能够有效处理多产品订单的复杂性。此外，本文提出的解码策略和混合初始化策略，为算法在实际应用中的性能提升提供了新的方法。四个知识驱动的局部搜索算子则进一步优化了解的质量，确保算法在复杂问题中的稳定性。