基于强化学习的制造-仓储集成系统仿真优化：一种两阶段融合方法

为解决传统需求预测方法（如ARIMA、SARIMA）难以适应市场波动的问题，研究人员提出了一种结合时间序列分析与强化学习（RL）的创新方法，通过优化RL超参数（alpha和gamma）和采用Bi-GRU模型（R2=0.38），显著提升了需求预测精度与仓储运营效率，为动态供应链管理提供了数据驱动的解决方案。

　　

在当今高度竞争的全球市场中，供应链的韧性至关重要。然而，传统的需求预测方法如自回归积分滑动平均模型（ARIMA）和季节性ARIMA（SARIMA）依赖于静态分析，难以应对现代需求固有的波动性和实时变化。这种预测能力与环境动态性之间的脱节导致了库存短缺和积压等成本高昂的低效问题，阻碍了企业优化运营的能力。

为解决这一关键缺口，本研究提出了一种新颖的范式：将时间序列分析与强化学习（RL）协同整合，构建一个动态、自适应的需求预测和库存管理系统。与传统方法不同，该研究利用时间序列分析的模式识别优势作为基础，再通过RL的实时学习和决策优化能力，动态响应环境变化。这种融合实现了从静态预测到精确需求预测和智能库存控制的重大飞跃，能够在保证产品可用性的同时平衡成本效率。

研究人员将这一框架应用于真实世界的多维度需求数据，覆盖多样化的产品类别和仓库位置。通过模拟和优化复杂的物流场景，模型能够动态调整订单频率、管理交货周期并优化库存水平，为现代供应链面临的紧迫挑战提供了数据驱动的实用解决方案。

研究采用了几个关键技术方法：首先，对来自四个仓库的2160种产品代码的公开需求数据应用时间序列分析，识别关键需求趋势；其次，开发了一个强化学习仿真模型，优化库存策略，考虑订单频率、交货时间和存储限制；最后，采用田口方法（Taguchi method）通过L₉正交阵列实验优化RL超参数（alpha和gamma）。

结果

• 需求预测性能：通过将深度学习程序整合到传统模型中，双向长短期记忆网络（Bi-LSTM）的R²达到0.26，双向门控循环单元（Bi-GRU）的R²达到0.38，显著优于传统方法。
• 强化学习优化：RL模型奖励函数中较高的alpha和gamma值促进了更快的学习和决策，带来更好的奖励和更高效的仓储运营。
• 库存管理：RL工具在模拟环境中与近端策略优化（PPO）算法结合，测试了不同惩罚系数水平，实现了对操作场景的精确调整。

总结与结论
本研究探索了三种不同的方法来分析产品需求和优化订单策略。时间序列分析结合经典和深度学习模型，其中Bi-GRU和Bi-LSTM在需求预测中表现优异。RL模型通过动态调整库存策略，显著提升了供应链的响应速度和效率。田口方法的应用进一步优化了RL超参数，增强了模型的决策能力。

局限性
深度学习模型需要大量数据和计算资源，可能限制其广泛应用。物料需求计划（MRP）模型高度依赖准确的需求预测，预测误差可能导致次优的订单频率。此外，RL工具在高惩罚系数下表现出奖励波动，表明需要进一步优化。

未来工作
未来研究可以进一步比较RL优化与传统混合整数规划（MIP）方法的优势，探索两者在动态和不确定环境中的性能差异。此外，可以研究如何降低深度学习模型的数据和计算需求，使其更易于普及。

这项研究通过整合时间序列分析、深度学习和强化学习，为供应链管理提供了一种创新的解决方案，不仅提升了预测精度和运营效率，还为未来的研究指明了方向。论文发表在《Expert Systems with Applications》，为相关领域的学者和从业者提供了宝贵的参考。