利用基于指针网络的A2C算法与启发式方法优化传送带物流中的一维箱装问题

《Scientific Reports》：Optimizing one-dimensional bin packing for conveyor belt logistics via pointer-network-based A2C and heuristics

　　

摘要

一维装箱问题在物流领域面临着诸多挑战，尤其是在优化仓库传送带系统中的物品排列顺序方面。本文提出了一种基于深度强化学习的方法，该方法结合了优势演员-评论家算法与指针网络，用以学习一维装箱问题的最优物品排序策略。我们的方法生成的物品排列序列会进一步通过首次适应、下次适应或最佳适应等启发式算法进行处理，从而有效弥合离线序列优化与在线装箱约束之间的差距。演员网络包含基于LSTM的编码器-解码器及注意力机制，并通过指针网络学习一种随机策略，以生成能够提高箱体利用率的排列顺序。评论家网络则用于估算状态价值函数，以降低策略梯度更新过程中的方差。在小型（5–10件物品）、中型（20–30件物品）和大型（100–200件物品）问题实例上的实验结果表明，经过深度强化学习优化的首次适应和最佳适应算法，其平均箱体利用率相比单独使用的启发式算法以及首次适应递减算法有显著提升（统计显著性水平为\(p < 0.001\)），提升幅度从中等到非常大不等。所提出的框架为动态仓库环境中的装箱序列优化提供了一种计算效率较高的解决方案。