《Advanced Engineering Informatics》：History-Aware Deep Reinforcement Learning for real-time robot navigation in dynamic industrial environments
编辑推荐：
•HA-DRL 在训练过程中利用历史上下文信息，以实现机器人的实时导航。•基于势函数的奖励塑形与渐进式重放机制提升了策略学习效果。•训练好的策略无需微调即可迁移至真实的工业机器人。引言自主导航技术使移动机器人能够在多种环境中独立运行且只需极少人工干预，该领域已历经数十年的广泛
- •
HA-DRL 在训练过程中利用历史上下文信息，以实现机器人的实时导航。
- •
基于势函数的奖励塑形与渐进式重放机制提升了策略学习效果。
- •
训练好的策略无需微调即可迁移至真实的工业机器人。
引言
自主导航技术使移动机器人能够在多种环境中独立运行且只需极少人工干预，该领域已历经数十年的广泛研究[1]。这一能力对于提高作业效率至关重要，同时也能使机器人执行人类无法进入或存在危险环境中的任务。然而，自主导航系统的开发和改进仍面临诸多挑战，尤其是在具有动态性和固有不确定性的工业环境中。
传统导航框架通常依赖于涉及同时定位与建图（SLAM）[2]、路径规划[3]和碰撞避免[4]的算法。该框架在布局已知且障碍物静态的结构化环境中已证明行之有效。然而，该方法对高精度全局地图的依赖使其对传感器噪声和计算资源极为敏感，导致其在应对未知或动态环境时存在局限性[5]。这些局限性突显了需要更具适应性和鲁棒性的解决方案，特别是在环境不可预测性会严重影响作业效率和安全性的场景下。
深度强化学习（DRL）彻底改变了自主导航领域，为应对复杂动态环境提供了先进的解决方案。与传统基于地图的方法相比，DRL通过与环境交互进行学习和适应的能力具有显著优势。然而，尽管现有的基于DRL的机器人导航方法在各种场景中取得了成功，它们通常难以应对工业环境的复杂随机特性。这些不足之处源于DRL模型在训练中依赖大量数据，而在复杂的工业环境中往往难以获取，同时它们通常未能充分考虑到历史运行上下文以及这些环境中固有的随机因素。
工业环境为机器人自主导航带来了独特挑战。移动机械、变化的光照条件以及工人的存在等因素引入了标准模型可能无法有效处理的随机性。此外，决策时对实时响应性的要求又增添了一层复杂性，使得机器人必须在保持高水平可靠性和安全性的同时快速适应变化的条件。因此，这些环境对机器人导航和任务执行提出了重大挑战，需要一种精密的决策方法来为工业移动机器人的各种作业任务提供高效、安全且具有适应性的可靠导航系统。
本研究旨在通过引入一种新颖的基于历史感知的深度强化学习（HA-DRL）框架来解决上述挑战，该框架旨在增强机器人在动态工业环境中的导航能力。通过将历史上下文信息融入强化学习阶段，HA-DRL框架丰富了机器人的决策能力，使其在保留对动态变化高效实时适应性的同时，实现了有效的导航性能和泛化能力。本文的主要贡献如下：
- (1)
通过HA-DRL增强决策能力：HA-DRL框架通过将历史上下文信息融入学习过程，提高了自主机器人在动态环境中的决策能力，增强了适应性和响应性。
- (2)
通过PBRS和PLR提高训练效率与效果：在HA-DRL中引入基于势函数的奖励塑形（PBRS）和渐进式学习重放（PLR），显著提升了训练效率与效果，实现了更快的收敛和更稳健的策略学习。
- (3)
在真实工业场景中的成功仿到实部署：为展示实际应用性，HA-DRL模型成功实现了从仿真到真实工业现场的部署，验证了其鲁棒性以及该框架应对现实世界自主导航挑战的潜力。
章节摘要
相关工作
自主导航策略的演变标志着从传统的非学习型基于地图的方法向更具适应性的基于学习的方法的转变[1]、[5]。传统方法严重依赖于预先构建的全局地图进行路径规划[2]、[3]、[4]，需要进行大量前期建图和频繁更新以适应环境变化，这在布局可能快速改变的动态环境中存在显著局限性，从而对维护提出了挑战……
问题描述
工业环境中的自主导航由于动态变化、不可预测的障碍物以及对实时响应性的需求而面临独特挑战。工业环境包括移动机械、变化的人类活动以及不断变化的布局，这些因素导致了持续的变化，使得难以明确定义状态转移概率。
经典的马尔可夫决策过程（MDP）假设当前状态包含了所有相关的信息用于……
状态表示与动作空间
状态表示经过精心设计，以捕捉机器人环境及其在其中交互的基本信息，这对于在动态和不确定的条件下进行有效决策至关重要。在每个时间步 ，状态 st 融合了关键的LiDAR数据以及导航导向的指标：
- •
预处理后的LiDAR数据 pt：由视场角为190度的LiDAR传感器提供，原始数据 zt = [zt1, zt2, …, zt190] 经过逐元素倒数变换……
评估指标与基线模型
HA-DRL算法的性能通过定量和定性指标的结合进行了严格评估，并在多个实验设置下与各种模型进行了对比基准测试。该评估框架旨在全面理解HA-DRL的有效性、效率和鲁棒性。
指标：评估包括以下各项指标，每项均反映了导航性能的一个关键方面：
结论
本研究提出了一种面向动态工业环境中自主导航的基于历史感知的深度强化学习（HA-DRL）框架。通过将历史上下文信息融入训练过程，所提出的框架旨在改善在部分可观测性和环境变化条件下的导航决策。该模型在仿真和真实工业场景中均进行了评估，以检验其导航效率、适应性和实时适用性。
实验……
CRediT作者贡献声明
Yizhi Wang：撰写初稿、方法论、概念构思。Degang Xu：撰写审阅与编辑、监督、资金获取。Xianhan Zhou：可视化、验证。Peng Chen：可视化、验证。Yongfang Xie：监督、资金获取。Weihua Gui：监督。
利益冲突声明
作者声明，不存在已知的竞争性经济利益或个人关系，这些因素可能对本文所报告的工作产生影响。
致谢
本研究由国家自然科学基金委员会（拨款编号62473386）、湖南省重点研发计划（拨款编号2025RC1009）以及山东省重点研发计划（拨款编号2025GNKJHZ0201）资助。本项目还获得了香港教育大学中央拨款委员会（项目号04A88）的支持。
Yizhi Wang|Degang Xu|Xianhan Zhou|Peng Chen|Yongfang Xie|Weihua Gui
