基于多智能体对决双深度Q网络的路径规划方法，用于复杂仓库环境中的自主移动机器人

《Engineering Applications of Artificial Intelligence》：Multi-agent dueling double deep Q-network-based path planning for autonomous mobile robot in complex warehouse environment

提出基于多智能体对抗双深度Q网络（MAD3QN）的路径规划算法，通过动态步长奖励函数、优先级经验回放机制和自适应ε-贪婪策略提升多AMR协作效率，结合二次B样条曲线优化轨迹平滑度，实验表明该算法在单机和多机场景下路径长度减少6.18%-11.2%，路径点数减少31.1%-45.83%。

　　

庞辉|何昭年|杜金福|梁宁|甄宇|李高汉

西安工业大学机械工程学院，中国西安710048

摘要

在复杂的工业仓库环境中，可以使用多智能体优化算法来实现智能仓库系统（IWSs）的高效协作操作。然而，现有的路径规划方法经常面临路径冲突和障碍物避让效率低等问题。为了解决这个问题，提出了一种多智能体对决双深度Q网络（MAD3QN）算法，以提高IWSs中多个自主移动机器人（AMRs）的路径规划效率和安全性。首先，建立了一个动态步长奖励函数，根据AMRs的状态调整奖励，从而能够安全快速地引导AMRs到达目标点。其次，将优先级经验回放集成到D3QN框架中，以优化高价值样本的使用并加速收敛速度。然后，引入了一种自适应的ε-贪婪策略并加入动作掩蔽机制，以提高障碍物避让能力并确保路径安全。最后，在单智能体和多智能体基于网格的仓库环境中验证了MAD3QN算法的有效性。与双深度Q网络（DDQN）相比，MAD3QN平均减少了6.18%的路径长度，并分别减少了45.83%和31.1%的路径点数量，从而显著提高了路径规划效率和轨迹平滑度。

引言

由于感知和决策技术的快速发展，自主移动机器人（AMRs）在物流、餐饮、医疗护理和救援等多个领域得到了广泛应用（Ben Kwame等人，2018年）。大量研究表明，这些技术在降低运营成本和减轻运营风险方面具有巨大潜力（Chen等人，2022a；Zhang等人，2024年）。随着仓库面积的扩大和货物类型的多样化以及数量的增加，单智能体系统在管理多AMR的运输任务时经常遇到挑战。多智能体系统通过分布式任务分配、协作操作和自主决策能力，能够更好地适应大规模物流环境，从而降低劳动力成本并提高工作效率。因此，多智能体系统已成为智能仓库系统（IWSs）开发和实施的重要趋势。多智能体系统的路径规划能力是IWSs的关键组成部分。

多AMR路径规划面临的主要挑战包括：（1）需要将AMRs的外部仓库环境信息抽象为适当的数据结构；（2）多AMR需要综合考虑路径规划的最优性，如最短路径、最小碰撞和最低能耗；（3）路径规划结果必须符合多AMR的运动学和其他约束（Wen等人，2021a；Chen等人，2023a）。因此，设计合适的路径规划算法对于帮助多AMR在具有各种限制的仓库环境中确定安全最优移动路径至关重要。

AMRs的路径规划传统上依赖于经典的基于图的算法和元启发式优化技术（Jones等人，2023年；Mazaheri等人，2024年）。例如A?算法采用最佳优先搜索策略，在静态环境中提供确定性和最优解（Goldenberg等人，2014年）。然而，在高维或动态环境中，由于解空间的指数级增长，性能往往会下降（Vemula等人，2016年）。为此，提出了多种元启发式算法。遗传算法（GA）、粒子群优化（PSO）和蚁群优化（ACO）分别受到进化、社会行为和觅食原理的启发（Luo等人，2023年；Jia等人，2022年；Chen等人，2022b年）。这些算法广泛用于在复杂环境中探索可行路径。尽管这些方法在适度约束下表现良好，但在应用于密集的多智能体场景时，它们常常面临收敛速度、参数敏感性和鲁棒性方面的挑战。

为了解决这些挑战，研究人员提出了结合基于规则策略和全局搜索机制的混合方法。例如，Sharon等人（2015年）引入了一种基于元智能体冲突的搜索策略，通过构建冲突树在高层解决智能体之间的冲突，同时在低层进行快速的单智能体搜索。该框架有效减轻了传统联合智能体建模的计算负担。然而，基于冲突的搜索树方法缺乏启发式指导，限制了其在复杂环境中的效率。Nazarahari等人（2019年）开发了一种结合人工势场（APF）和增强型GA的混合路径规划框架，实现了可行轨迹的迭代优化。然而，这种方法在动态障碍场景中的表现不佳。在算法改进方面，Zhang等人（2016年）提出了一种用于风险规避路径规划的灰狼优化方法，显著提高了计算速度。然而，这种方法仅限于二维空间，无法考虑三维环境中的动态避让和轨迹平滑性。Miao等人（2021年）优化了ACO，以减少计算时间，同时在不同环境中保持良好的响应性。尽管这些方法在特定任务中表现出色，但在涉及多个智能体和大规模动态障碍的复杂仓库场景中仍存在关键限制。具体来说，可扩展性差、协作控制弱和泛化能力有限等问题仍未解决。这些挑战凸显了迫切需要一种基于学习的路径规划框架，能够在复杂环境中跨智能体和任务进行泛化，同时确保计算效率和协调鲁棒性。

值得注意的是，在AI技术快速发展和广泛应用的情况下，智能学习方法为IWSs中AMRs的路径规划提供了新的解决方案。强化学习（RL）是一种将上下文和动作映射起来以实现智能体目标的机器学习方法（Li等人，2020年，2021年；Kurunathan等人，2023年）。在单智能体RL的背景下，智能体通过连续的策略学习和优化来最大化累积奖励。然而，许多任务复杂，涉及现实世界中多个智能体之间的交互。此外，单智能体RL不适合建模具有许多相互连接的复杂、自组织和可扩展的系统。因此，多智能体强化学习（MARL）被广泛用于研究多个智能体在共享环境中的行为特征（Li等人，2022年）。在MARL系统中，每个智能体可以根据环境状态自由选择动作，并受到奖励机制的驱动。然而，多个智能体的复杂交互可能导致Q表的快速扩展，从而导致收敛速度变慢和不稳定。此外，不同智能体对不同环境的感知不对称或部分可观察性可能导致决策不确定性显著增加。在MARL中平衡智能体之间的协作和竞争关系仍然是一个主要挑战，设计合理的奖励机制 for 自主决策过程仍然是一个重大挑战。

深度强化学习（DRL）是一种将强化学习与深度学习相结合的算法（Bai等人，2024年）。这种组合的目的是通过深度神经网络高效表示复杂的状态和动作空间，以实现AMRs的路径规划。近年来，DRL的突破为传统路径规划研究提供了新的视角和方法，并显著提高了IWSs中的导航和决策能力（Zhu和Zhang，2021年）。例如，HTL等人（Chiang等人，2019年）提出了一种结合DRL算法和RRT生成的路径的方法，并使用可达性估计器作为距离函数来处理AMRs的路径安全性问题。然而，该方法严重依赖局部感知信息，在处理复杂环境中的大规模障碍结构时遇到困难。Wang等人（Wang和Deng，2021年）开发了一个由DRL驱动的多AMR协作框架，赋予多AMR更大的目标选择和路径规划自主权。然而，他们模型中的经验回放缓冲区存在状态分布不平衡的问题，导致接近目标位置时的性能提升缓慢。Liu等人（2019年）引入了一种分散式多智能体DRL架构来控制各个智能体。然而，他们的模型主要在静态任务和基于规则的区域内进行训练，缺乏适应动态或意外情况的灵活性。Qin等人（2021年）设计了一种基于DRL的解决方案，以最小化多智能体路径规划的能耗。这种方法的一个关键限制是它在训练期间依赖于先验知识，且对其未见或现实世界环境的泛化能力有限。Chai等人（2022年）提出了一种分层深度学习控制框架，将上层运动轨迹预测与基于DRL的下层障碍物避让策略相结合。然而，这种方法主要在静态或半结构化环境中得到验证，其对动态障碍或快速变化条件的适应性有限。此外，双深度Q网络（DDQN）通过将动作选择与动作评估解耦（Qayyum等人，2021年），减轻了标准DQN中固有的高估偏差，从而增强了学习稳定性，并为后续架构改进奠定了坚实基础。总体而言，DRL算法不仅能够推进先前的研究，还能在路径规划领域开辟新的方向，这些方法在类似环境中表现出显著的适用性。

基于前述讨论，本研究提出了一种基于多智能体对决双深度Q网络（MAD3QN）的AMR路径规划方法，以确保在单智能体和多智能体场景中的安全和高效导航。本研究的主要贡献总结如下：

（1）

设计了一个动态步长奖励函数，以建立路径中的步数与相关奖励之间的关联，从而解决奖励稀疏的问题，并引导多个自主移动机器人（多AMR）到达目标区域。

（2）

将优先级经验回放（PER）机制集成到D3QN框架中，以提高重要样本的利用率并加速多AMR路径规划的收敛速度。

（3）

设计了一种自适应的ε-贪婪策略并加入动作掩蔽机制，以提高AMR的障碍物避让能力，确保AMR的安全移动，从而平衡探索和利用。

章节摘录

初步介绍

作为现代物流管理的核心组成部分，图1所示的IWSs具有空间异构的拓扑结构，包括多层货架、分拣节点和运输通道。IWSs必须应对订单波动，设备状态必须动态且快速变化。此外，IWSs还必须考虑由货架间距和设备大小引起的限制性交通条件，以及由时空资源竞争引起的路径冲突

提出的MAD3QN路径规划算法

首先，将仓库AMR的路径规划构建为MDP模型。接下来，引入MAD3QN算法来处理设计的AMR路径规划MDP模型，该算法可以解决单智能体和多智能体环境中的路径规划问题。

仿真设置和评估指标

所提出的MAD3QN算法使用PyCharm平台上的仿真模型实现了一个30 × 30的2D网格基实验环境，系统在Windows 11上运行，配备Intel Core i7-12800H和RTX 4060。

折扣因子（γ）和学习率（α）是深度强化学习中的关键超参数，它们共同影响价值估计的准确性和策略优化的效率。必须平衡这些参数，以确保

结论

本研究提出了一种基于MAD3QN的多智能体路径规划算法，以实现复杂仓库环境中多AMR的最优路径规划。首先，在建立AMR路径规划的MDP模型后，设计了一个动态步长相关学习奖励函数，以实现快速导航到目标位置，同时保持AMRs与障碍物之间的安全距离。此外，还采用了混合动作掩蔽机制和动态ε-贪婪动作选择策略

CRediT作者贡献声明

庞辉：撰写 – 审稿与编辑、验证、方法论、数据管理、概念化。何昭年：撰写 – 原始草稿、验证、软件、方法论。杜金福：撰写 – 审稿与编辑、验证、资源管理、数据管理。梁宁：软件、资源管理、方法论、调查。甄宇：撰写 – 原始草稿、软件、方法论。李高汉：撰写 – 原始草稿、软件、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了中国陕西省自然科学基金（重点项目）[资助编号S2023-JC-ZD-0163]的部分支持。