《Mathematics》：An Evidence-Based Systematic Literature Review of Deep Reinforcement Learning for Manufacturing Scheduling
深度强化学习（DRL）已成为制造调度的重要方法，因为它支持在复杂且不断变化的生产条件下进行序贯决策。然而，现有综述主要按调度问题或学习方法对文献进行组织，对于追踪制造情境、马尔可夫决策过程（MDP）建模、调度器架构和评估选择如何在异质性研究之间相互作用所提供的支持较少。研究人员采用一种基于证据的系统文献综述方法，通过结构化方法进行语料库构建、配置级编码、证据可追溯性、研究质量评估和跨研究综合。经过验证的语料库包含52项主要研究和54个独立编码的DRL配置。证据综合涵盖了制造调度特征、MDP设计、DRL调度器设计、混合优化和实证评估。结果表明，调度器设计是情境依赖且架构多样的：制造需求与状态、动作和奖励建模的差异相关联，而DRL调度器则结合了不同的学习算法、表示架构、控制结构和互补优化机制。证据并未确立单一表示、算法或混合架构的普遍优越性，因为所报告的结果仍强烈受制于问题表述和实验设计。评估证据进一步凸显了泛化能力有限、统计与组件级验证不均衡，以及基准或仿真研究与实际工业部署之间持续存在的差距。通过将研究级、配置级和证据级信息联系起来，本综述为解释方法论关系、识别研究空白以及指导基于DRL的制造调度系统的开发和评估提供了可追溯的基础。
1. Introduction
1.1. Manufacturing Scheduling in Intelligent Manufacturing
制造调度决定生产任务在有限资源上的分配与排序，典型问题包括作业车间调度问题（JSSP）、柔性作业车间调度问题（FJSP）、流水车间调度问题（FSSP）、混合流水车间调度问题（HFSP）和并行机调度问题（PMSP）。智能制造通过信息物理系统、工业物联网和数字孪生等提高了生产信息的可用性与决策更新频率，使调度具有序贯决策结构。
1.2. From Optimization to Policy Learning
动态制造环境促使调度从重复构建实例专属方案转向学习“状态—决策”映射的策略。深度强化学习（DRL）结合强化学习与深度神经网络，为学习序贯决策策略提供了通用框架，已应用于多种制造调度场景。
1.3. Knowledge Fragmentation and Limitations of Existing Reviews
现有综述从调度问题、算法族、状态-动作-奖励设计等角度对文献进行了分类，但与方法级综合相比，对跨研究追踪制造情境、MDP建模、调度器架构和评估交互关系的支持不足。
1.4. Research Gap
现有文献缺乏将日益多样化的证据基础转化为可追溯的跨研究设计知识的明确框架，难以在保留证据来源和情境边界的同时识别重复出现的设计关系。
1.5. Research Objectives and Contributions
本综述提出五个研究问题（RQ1-RQ5），并通过结构化方法连接语料库构建、证据编码、质量评估与跨研究综合，以解释制造特征与DRL设计的关系，并提炼基于证据的设计知识。
2. Conceptual Foundation
2.1. Review Scope of Manufacturing Machine Scheduling
本综述聚焦制造机器调度，主要问题族包括JSSP、FJSP、FSSP、HFSP和PMSP；分布式、动态、随机、能耗感知等变体被视为基础结构的扩展。
2.2. Manufacturing Environments and Decision Characteristics
制造环境在信息可用性、决策时机和不确定性上存在差异。静态环境在调度前已知全部信息，动态环境在执行中引入新信息；确定性表述假设参数已知，随机性表述显式建模不确定性。
2.3. MDP as a Unified Analytical Abstraction
马尔可夫决策过程（MDP）提供状态、动作、奖励和状态转移的公共抽象，作为连接制造情境与DRL调度器设计的分析接口。
2.4. DRL Scheduler Design as an Interacting System
DRL调度器由相互作用的组件构成，制造情境和MDP共同约束状态表示、动作设计、奖励建模、神经架构与执行机制，单一组件的改变会改变对其他组件的要求。
2.5. Knowledge Representation for Evidence Synthesis
通过“设计知识图谱”概念组织证据关系，节点表示分析概念，边表示有证据支持的关系；研究标识、配置记录和证据定位器保持可追溯性。
3. Review Methodology
3.1. Overview of the Review Methodology
综述方法包括四个步骤：语料库构建、证据编码、证据综合和知识生成，将多样化的原始研究转化为可追溯的证据。
3.2. Corpus Construction
通过种子文献、文献检索、引文追溯和全文字级筛选构建语料库；纳入2018至2026年间52项主要研究，共54个独立配置，并记录排除规则。
3.3. Evidence Coding
采用研究级、配置级和证据对象三级架构表示纳入文献。一个研究可包含多个配置；证据对象与源文献位置关联，确保编码信息可溯源。
3.3.1. Coding Protocol and Quality Control
编码依据预定义数据字典进行，经过试点修正、全文提取、位置定位和质量控制，最终生成312个已验证的证据定位器。
3.3.2. Study Quality Assessment
研究质量从问题建模、DRL建模、基线充分性、实验公平性、统计分析、泛化分析、可复现性和工业相关性八个维度评分，用作证据成熟度指示而非排除标准。
3.4. Evidence Synthesis
通过描述性综合与主题性综合整合158个有来源的分析声明；频率仅描述所纳入文献，不构成方法优越性证据；最终生成12项基于证据的发现和12个研究空白。
4. Evidence-Based Results
4.1. Overview of the Review Evidence
结果基于52项研究和54个配置，围绕制造调度特征、MDP设计、DRL调度器设计、混合优化和实证评估组织，并保留研究级与配置级溯源。
4.2. Manufacturing Scheduling Characteristics
4.2.1. Scheduling Environment
动态调度占配置的大多数（30/54，55.6%），静态占37.0%，另有7.4%为事件驱动等限定环境。动态设置需要策略响应演化中的生产状态。
4.2.2. Manufacturing Scheduling Problems
语料库集中在JSSP和FJSP，共占79.6%；其余配置覆盖FSSP、DFSP、PMSP、重入调度和HFSP等。结构差异影响状态与动作建模，但不决定算法优劣。
4.2.3. Scheduling Objectives
完工时间（makespan）是最常用目标，尤其在基准研究中；其他目标包括拖期、流经时间、机器利用率、负载均衡、能耗与运输效率，常被组合为多目标。
4.2.4. Scheduling Decision Characteristics
决策特征包括规则选择与直接决策、决策时机（顺序构建或事件触发）、以及多决策协调；复杂情境通过因子化、分层或协调结构处理。
4.3. MDP Design Patterns
4.3.1. State Representation
状态表示涵盖手工特征向量、图结构、矩阵/张量编码和循环表示；图神经网络（GNN）用于学习生产图的潜在特征。表示选择与制造信息结构相关，而非独立因果变量。
4.3.2. Action Formulation
动作设计包括调度规则选择、直接调度决策（选作业、工序、机器或工序-机器组合）以及分层/因子化动作；采用动作掩码等机制维护可行性。
4.3.3. Reward Engineering
奖励结构包括稀疏/终端奖励、稠密中间反馈、复合奖励及自适应归一化形式；奖励设计与目标不同，并与其他MDP组件紧密耦合。
4.4. DRL Scheduler Design Patterns
4.4.1. DRL Algorithm Families
算法包括基于价值的方法（DQN及其变体）、策略梯度和演员-评论家方法（如PPO）。跨研究比较不能建立普遍排序，性能受多种因素联合影响。
4.4.2. Neural Network Architectures
网络架构包括多层感知机、卷积、循环、注意力、Transformer和图神经网络（GNN）。架构与状态表示密切相关，但证据未将任一架构独立为性能来源。
4.4.3. Control Strategies
控制策略包括单智能体调度、分层策略和协调多策略/多智能体；分层与协调机制用于组织交互决策，但不意味着固有优越性。
4.5. Hybrid Optimization Strategies
4.5.1. Hybrid Learning with Heuristic and Metaheuristic Optimization
DRL与调度规则、遗传算法（GA）、模拟退火（SA）、禁忌搜索（TS）和变邻域搜索（VNS）结合，分别承担候选生成、局部细化等功能；收益需在受控计算预算下确认。
4.5.2. Hybrid Learning for Representation and Decision Coordination
混合架构使用图编码器、注意力机制、分层策略和协调决策结构来保留关系信息或组织交互决策；效果应结合完整架构与实验情境解释。
4.5.3. Integrated Optimization Architectures
集成架构组合表示模块、DRL策略、启发式或数学优化、仿真环境等组件；制造执行系统（MES）等集成不等于实时部署。
4.6. Evaluation Practices and Empirical Evidence
4.6.1. Benchmark Selection and Experimental Environments
标准JSSP/FJSP基准、仿真环境和工业激发场景被用于评估；不同环境提供不同强度的证据，基准结果不应自动推广到动态运营场景。
4.6.2. Comparative Evaluation and Performance Assessment
基线包括调度规则、启发式/元启发式、数学优化及其他DRL调度器；指标已扩展至能耗、负载均衡等；所报告的百分比改进应限于原实验情境。
4.6.3. Reproducibility and Research Transparency
可复现性受随机种子、训练计划、奖励归一化、调参等影响；代码与数据可用性不足以保证复现，需详细报告实验协议与统计检验。
4.7. Cross-Dimensional Evidence Synthesis
4.7.1. From Manufacturing Context to MDP Design
制造情境约束状态、动作和奖励设计，但证据支持的是情境关联而非确定性设计规则。
4.7.2. From MDP Formulation to DRL Scheduler Design
MDP公式影响架构选择，但算法、表示、控制与训练预算联合变化，算法选择不足以完整描述调度器设计。
4.7.3. The Emergence of Hybrid Intelligent Scheduling
混合架构将DRL作为自适应决策组件，与表示、优化和协调机制集成；混合本身的性能优势需在匹配计算条件下验证。
4.7.4. Overall Evidence Synthesis and Emerging Research Trends
总体模式是：设计依赖于情境、方法发展超越算法选择、评价质量决定结论可信度；限制普遍性主张需要更强的受控比较。
5. Discussion
5.1. From Algorithm-Oriented Optimization to Context-Aware Scheduler Design
DRL调度性能不能仅由算法解释，应视为完整调度系统的结果；设计和评估应采用情境感知视角，并通过受控比较分离组件贡献。
5.2. Implications for Future DRL-Based Manufacturing Scheduling Research
未来优先方向包括跨情境泛化、表示与决策架构的受控消融、混合优化的公平比较和更强的实证验证。
5.3. Limitations of Current Evidence
现有证据集中在JSSP/FJSP，基准与仿真验证为主，方法差异大，透明性不足，且新兴方向缺乏充分实证支持。
5.4. Future Outlook
未来进展取决于将方法创新与更强证据连接，包括受控比较、泛化测试、透明计算报告和逐步工业验证；核心挑战是确定何时增加的复杂度带来可迁移且有实际意义的收益。
6. Conclusions
本综述基于证据导向视角综合了52项研究、54个配置，通过三级可追溯性连接制造情境、MDP设计、调度器架构、混合优化与实证评估。证据表明调度器设计是情境依赖且架构多样的，不具普遍优越性；未来需将方法创新与更严格的实证验证相结合。
