在不确定性条件下的适应性调度：一种基于深度强化学习的实时设备调度方法，应用于露天采矿作业

《Computers & Industrial Engineering》：Adaptive dispatch under uncertainty: a deep reinforcement learning approach to real-time equipment scheduling in open-pit mining operations

　　• 综合MDP建模。将涉及卡车分配、铲车装载和破碎机进料协调的完整调度问题形式化为一个单一代理的MDP，其状态表示和动作空间基于作业采矿指标，建立了精确的问题建模，而之前的领域特定工作仅部分处理了这些问题。
• 多组分奖励设计。引入了一种奖励信号，该信号在单一标量目标中同时考虑了矿石产量、燃料消耗和设备磨损等因素，使代理能够在没有明确的多目标求解器或手工调整的标量化权重的情况下平衡竞争的运营成本。
• 相对于反应式基线的可验证改进。完全在模拟中训练的深度Q学习策略在生产力运输时间上实现了8-10个百分点的提升（相对于Greedy方法提高了15-17％），并且在平均排队等待时间上减少了约27％，而无需在条件变化时进行手动重新调整，从而证明了模拟训练的调度是周期性重新规划的一种实际可行的替代方案。
• 经验上的鲁棒性表征。该策略在从正常运行到设备故障和严重品位变化的多种中断情景下进行了评估，证明学习到的策略具有泛化能力，而不会过度拟合于名义训练分布。

引言
在大型露天采矿作业中，移动设备的有效分配处于组合优化、随机系统和实时控制的交叉点上，这种融合几十年来一直没有找到清晰的解决方案。任何露天矿山的运营核心都有一个连续的调度问题：必须将卡车分配给由铲车服务的装载面，并协调物料流动以维持稳定的破碎机进料速率，同时底层系统的发展方式是任何静态计划都无法完全预测的。即使 idle 时间或排队等待时间有轻微减少，也会在资本密集型采矿资产的规模上转化为显著的生产力和能源收益。尽管研究兴趣持续存在，但调度理论所承诺的与实际运营成果之间的差距仍然很大。
根本的难点在于其结构性质。露天矿山的调度本质上是一个非静态的顺序决策问题：矿石品位在不同矿层之间变化，道路状况在不同班次间波动，如果调度逻辑不能迅速响应，设备故障会导致系统效率下降。任何将调度视为一次性优化的框架在结构上都与这一现实不匹配。顺序工业数据中的时间依赖性也在物联网异常检测中得到了强调，其中双向循环神经网络（BiLSTMs）能够有效捕捉传感器观测序列中的长期相关性（Aldweesh等人，2023年），这一结构特性也存在于矿山调度数据流中。
文献经历了不同的范式演变。基于规则的系统几乎可以实现零延迟，但在中断情况下非常脆弱。混合整数规划提供了组合上的严谨性，但在随机性面前过于敏感且重新规划速度太慢。仿真-优化混合方法可以处理不确定性，但仍停留在先计划后执行的范式中，这与高吞吐量的采矿节奏不兼容。深度强化学习在制造调度中表现出竞争力，但现有的矿山应用仅解决了狭窄的子问题，使用合成基准，并采用忽略了产量、燃料和磨损联合优化的单一目标奖励。
本文的动机在于，实时调度是一个需要针对所有运营条件分布的鲁棒性的连续控制问题，而不是一个被中断定期打断的规划问题。将调度视为马尔可夫决策过程使得学习到的策略能够在恒定时间内将状态映射到动作，消除了重新规划的延迟，同时隐式编码了中断的统计结构。

在高保真离散事件模拟上进行训练，并根据多矿层矿场的运营数据进行校准，使策略能够适应部署中遇到的各种条件。同时，在设备故障和品位变化情景下进行受控评估，可以经验性地表征其鲁棒性，而不是假设其鲁棒性。本文作出了以下贡献：
• 综合分层MDP建模。将涉及卡车分配、铲车装载和破碎机进料协调的完整调度问题形式化为一个两级分层MDP：高层协调器为每个铲区设定10分钟的生产子目标，而低层SAC策略根据这些目标执行60秒内的卡车到铲车的分配。这种分层分解减少了低层的信用分配范围，并使每个层次能够在自然的决策时间尺度上运行，解决了先前单一代理建模仅部分处理的多时间尺度结构问题。
• 多组分奖励设计。引入了一种自适应奖励信号，其中产量、燃料和设备磨损的标量化权重根据实时运营背景（如破碎机进料短缺、活动故障数量和滚动燃料消耗）在每个调度间隔动态调整。从形式上讲，这实现了状态条件多目标强化学习（SC-MORL）目标 maxπ E[∑t γt w(st)T r(st, at)]，其中标量化权重w(st)本身是一个依赖于状态的函数，而不是一个固定向量（参见Abels等人，2019年；Humayed等人，2017年），他们虽然在多目标DRL中应用了动态权重向量，但没有状态条件的运营信号。这消除了在运营条件变化时手动调整权重的需要，并在4.4部分显示，与固定权重基线相比，这种方法可以同时改善所有三个目标。
• 相对于反应式基线的可验证改进。完全在模拟中训练的H-SAC-ADR策略与六种竞争方法进行了基准测试，包括基于规则的启发式方法、LP重新优化、滚动时域仿真优化、DDQN和其他RL架构。与贪婪基线相比，该方法在生产力运输时间上实现了11.2-13.9个百分点的提升，在最强劲的非学习竞争者（LP-Replan）上实现了7.1-8.4个百分点的提升，并且平均排队等待时间减少了约37％，而无需在条件变化时进行手动重新调整，证明了模拟训练的自适应调度在实际中断条件下优于反应式启发式方法和周期性重新优化。
LP-Replan基线是使用Gurobi 11.0在滚动时域公式下实现的。为了保持实时调度的可行性，每个优化周期的限制为55秒的墙钟计算时间。求解器的相对最优性容忍度为1×10??。在由于铲车-破碎机拥塞导致不可行的情况下，激活了松弛变量松弛机制，并将惩罚性违规纳入目标函数以恢复可行的调度计划。为了验证55秒的限制是否不公平地不利于LP-Replan，还进行了额外的实验，延长了求解器时间限制（30秒、55秒和90秒）；超过55秒的性能提升非常微小（<0.4个百分点），支持所选实时限制的实际公平性。详细的敏感性结果报告在表E5和E7中。
• 仿真保真度和鲁棒性表征。模拟器根据来自一个活跃铜矿的六个月的SCADA遥测数据（410万条记录）进行校准，并在涵盖从正常运行到设备故障、品位变化和配置转移的七个场景的评估套件（S1-S7，4.2中正式定义）中对策略进行了评估。初步的鲁棒性实验显示，即使有±20％的传感器噪声注入，PHT下降也不到0.4个百分点，提供了性能可以超出校准模拟环境的初步证据。
本文的其余部分组织如下。第2节回顾了相关文献，追溯了从经典调度方法到基于仿真的优化再到基于强化学习的调度的进展，并明确了本文所要解决的差距。第3节正式化了MDP，详细说明了状态和动作空间的设计，证明了奖励结构的合理性，并描述了深度Q学习架构和训练程序。第4节报告了实验结果，包括基线比较、奖励组分消融、中断情景评估以及与真实SCADA数据的离线历史回放评估（4.9），后者提供了在没有实时部署的情况下最接近实际性能的代理指标，尽管受到4.9中讨论的反事实限制。第5节探讨了实际意义、可解释性挑战、转移条件和研究局限性，第6节总结了研究发现和未来工作的方向，包括多代理扩展和在线策略适应。

随着采矿作业通过工业物联网（IoT）基础设施（包括GPS遥测、车载车辆传感器、无线通信网络和SCADA平台）逐渐数字化，可靠的数据获取和安全的信息交换已成为智能调度系统的关键要求。尽管网络安全和数据完整性考虑超出了本模拟研究的主要范围，但它们代表了面向部署的研究的关键方向，并在局限性部分（第5节）中进行了明确讨论。

相关工作
在复杂、动态的运营环境中优化设备调度的挑战长期以来一直是运筹学研究的重点。这篇文献综述总结了为解决调度和分配问题而演变出的主要方法论方向，特别关注了从静态确定性方法向不确定条件下的适应性决策的转变。

提出的方法H-SAC-ADR在之前的RL调度方法中引入了四项创新：(i) 使用最大熵目标的软演员-评论家（SAC）替代DDQN；(ii) 根据实时运营信号调整的上下文自适应奖励权重，正式定义为状态条件多目标RL（SC-MORL）问题类别，这是一个以前未应用于具有运营背景信号的设备调度的理论框架，其中标量化本身是一个依赖于状态的函数；(iii) 两级...

实验评估
本节介绍了第3节描述的H-SAC-ADR调度框架的实证评估。评估旨在为引言中声称的四个贡献提供直接证据：相对于竞争基线（4.3节）的更优平均生产力运输时间，对燃料消耗和磨损相关运营压力的有意义改进（4.3节），在整个中断情景套件中的鲁棒性（4.5节），以及限制、实际意义和转移考虑的原则性归属。

重要的是要澄清，设备磨损并没有通过物理退化方程或维护状态动态来明确建模。相反，该框架使用更平滑的调度轨迹、减少的空闲循环和较低的排队波动作为与磨损相关压力的间接运营代理。因此，任何与磨损相关的收益都应被视为一个合理的运营结果，而不是直接验证的物理结果。

结论与未来工作
所提出的框架应被解释为一个在特定运营条件和情景下表现出强大性能的经过模拟验证的调度策略。尽管实验结果令人鼓舞，但将其推广到截然不同的矿山配置或设备车队将需要额外的实证验证。
未来的工作应优先考虑实际部署试验，以及在多样化地质条件下的更广泛敏感性分析。

作者贡献声明
向晓雷：撰写——原始草稿、方法论、概念化。李丹琪：撰写——审阅与编辑、验证、方法论。王向宇：撰写——审阅与编辑、监督、方法论、概念化。邵全喜：撰写——审阅与编辑、验证、资源、方法论。

资金
无资金支持。

未引用的参考文献
van Hasselt等人，2016年；Kingma和Ba，2015年；Cheung等人，2020年；Cardoso等人，2019年。

向晓雷 | 李丹琪 | 王向宇 | 邵全喜