EGP2：一种用于无人机路径规划的样本高效且具有泛化能力的强化学习框架

《Robotics and Autonomous Systems》：EGP2: A sample-efficient and generalizable reinforcement learning framework for UAV path planning

　　•提出EGP2框架，以实现高效且具备通用性的无人机路径规划。•结合随机网络蒸馏与课程式随机化策略，提升学习稳定性。•在四种不同环境中，该框架的规划性能均优于基于强化学习的基准方法，且规划结果更为稳定。

引言
自主无人机的路径规划是众多关键应用的基础，这些应用包括灾难救援[1][2]、物流运输[3][4]以及环境监测[5][6]。在此背景下，由于深度强化学习具备端到端控制能力和自适应决策特性[7][8]，它已成为无人机路径规划的主流方法。然而，现实世界的运行环境具有固有的复杂性和非稳定性，常常存在动态天气条件、通信不确定性、传感器噪声以及移动障碍物等问题。在这样的环境下，基于强化学习的无人机路径规划面临两大核心挑战：首先是在交互数据有限且任务反馈稀少的情况下，智能体必须不断适应从未见过的场景；其次则是模型在跨场景泛化方面的局限性，即在单一领域训练得到的策略往往无法在面对分布变化时保持稳定性能。为验证这些假设，我们开展了一系列关于样本效率与跨场景泛化能力的实验。在样本效率方面，我们在固定交互次数的前提下，研究了环境复杂性增加对性能的影响。如图1(a)所示，在密集奖励和稀疏奖励两种设定下，随着环境规模从简单变为复杂，成功率均持续下降，其中稀疏奖励情况下的下降幅度更为显著。在跨场景泛化方面，我们评估了策略在风扰动导致的分布变化下的稳定性。如图1(b)所示，未经领域随机化处理的策略在风速增大时会迅速出现成功率下降的情况，而通过多领域训练得到的策略则能在更广泛的扰动范围内保持较高性能。这些结果表明，基于强化学习的无人机路径规划方法仍受限于低数据效率和有限的跨领域鲁棒性，这促使人们致力于开发一种能够提升样本效率的同时确保在多样且动态变化的环境中实现可靠泛化的统一框架。为解决这些核心问题，本研究提出了一种名为“高效通用路径规划”（EGP2）的统一框架。该框架将内在动机驱动的探索机制与基于课程式的领域随机化策略相结合，从而同时提升探索效率与跨场景适应性。具体而言，我们利用随机网络蒸馏技术生成能够量化状态新颖度的内在奖励信号，以此激励智能体主动进行探索，提高样本利用率并加速策略收敛。此外，我们还采用了基于课程式的领域随机化策略，根据智能体的学习进度动态调整环境复杂度与分布多样性，确保训练过程始终处于既可学习又具有足够挑战性的范围内。这种逐步增强的随机化过程使得智能体在环境从简单配置向复杂配置过渡时仍能实现稳定的策略收敛，并显著提升其跨场景泛化能力。通过信息引导的探索以及动态调整的环境多样性，EGP2提升了策略在不同场景下的学习效率、稳定性、适应性及迁移能力。因此，EGP2为复杂且动态变化的现实世界环境中的自主无人机导航提供了高效且可扩展的解决方案。

本研究的主要贡献如下：
•统一框架：我们提出了EGP2框架，该框架将内在动机驱动的探索机制与基于课程式的领域随机化策略相结合，从而同时提升探索效率与跨场景适应性。
•基于RND的探索机制：RND技术通过生成基于新颖度的内在奖励，激励智能体进行有信息的探索，提高样本效率，并在反馈稀疏或信息不足的情况下加速策略收敛。
•基于课程式的领域随机化机制：CDR策略根据智能体的学习进度动态调整环境复杂度与分布多样性，从而稳定训练过程并增强跨场景泛化能力。

相关研究
在现实世界环境中的无人机路径规划需要应对诸多挑战，如奖励信号稀疏或延迟、动态风扰动、密集且多样的障碍物、传感器噪声、部分可观测性以及大规模的3D搜索空间等问题。现有研究主要分为两个方向：一是通过提高样本效率并加速策略收敛，以应对稀疏反馈和复杂动态带来的困难；二是提升策略在马尔可夫决策过程中的泛化能力和鲁棒性。

无人机路径规划问题可以被建模为马尔可夫决策过程（MDP）（S,A,P,R,γ），其中S和A分别表示状态空间和动作空间，P(s′∣s,a)表示状态转移概率，R(s,a)表示奖励函数，γ为折扣因子，满足∑s′∈SP(s′∣s,a)=1。在时间步t，智能体会根据策略π(a∣s)选择某个动作，进而最大化预期折现回报Gt=E[∑k=0∞γkR(st+k,at+k)]。在无人机导航中，奖励信号通常较为稀疏（例如到达目标点或发生碰撞时的惩罚），这就需要采用高效的方法来处理这些问题。

为解决基于强化学习的无人机路径规划中的两大核心问题——在复杂环境中的低样本效率，以及跨场景域变化时策略的较差泛化能力和鲁棒性——我们提出了EGP2框架，这是一个整合了随机网络蒸馏与课程式领域随机化策略的双组分统一框架。RND模块通过将内在新颖度信号与外部任务奖励线性结合，提升探索效率和数据利用效率，引导智能体前往信息丰富但较少被探索的状态，从而实现更稳定的规划结果。

环境设计
无人机仿真环境被建模为三维城市空间中的高海拔路径规划马尔可夫决策过程，如图4所示。该环境允许无人机在密集的障碍物区域中导航至目标位置，同时避免碰撞和能量耗尽。每架无人机独立运行，拥有自己的状态和目标，同时共享全局环境数据以实现同步决策。该环境采用课程式领域随机化策略来进行闭环式且逐步增加难度的任务安排。

主要结果
我们将EGP2与多种典型的强化学习算法进行了对比测试，这些算法包括DQN、双DQN、对抗型DQN、PPO以及演员-评论家架构的ASAC版本。EGP2通过引入基于RND的内在奖励机制增强了DQN的性能，使其在反馈稀疏或部分稀疏的情况下也能更好地进行探索。为简化表述，我们将EGP2与DQN结合的版本简称为EGP2。所有算法都在相同的设计环境中，按照统一的训练和评估流程进行训练与测试，且都采用了相同的课程式领域随机化策略。

结论与未来工作
本研究提出了EGP2这一统一的强化学习框架，旨在解决无人机路径规划中的两大核心问题：低样本效率以及有限的跨场景泛化能力。EGP2通过利用随机网络蒸馏技术生成的内在新颖度信号，激励智能体探索具有有用信息的状态，从而在反馈稀疏或延迟的情况下加快策略收敛速度。与此同时，课程式领域随机化模块会根据智能体的在线表现动态调整环境复杂度，进一步提升其性能。

CRediT作者贡献声明
李泽培：概念设计。单宇涵：项目管理。莫宏伟：文本撰写与修改。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

李泽培|单宇涵|莫宏伟