基于分布式强化学习的低奖励环境下无人水面艇自主导航

《Neurocomputing》：Distirbutional reinforcement learning based autonomous navigation of unmaned surface vehicle with sparse reward

　　摘要：近年来，无人水面艇在军事和民用领域得到了广泛应用。在缺乏障碍物和水流信息的情况下，无人水面艇能够在拥挤的水域中自主导航，这一点至关重要。本文提出了一种新的深度强化学习路径规划方法，用于无人水面艇导航，该方法采用通用且易于设计的稀疏奖励函数。由于稀疏奖励函数的特性，智能体难以获得有用的反馈信号，且常常面临样本效率低的问题。此外，海洋环境的不确定性也是为无人水面艇导航制定安全策略的另一个挑战。为应对这些挑战，我们首先基于行为克隆方法，利用历史轨迹预训练一个初始策略。然后，通过分布式强化学习算法学习累积奖励的完整分布，并由此得出对风险敏感的策略。此外，还借助初始策略开发了一种新的探索策略。所提出的算法在模拟环境中进行了验证，并与两种非学习型路径规划方法以及一种传统强化学习方法进行了比较。大量的实验结果表明，我们的算法在成功率、累积奖励、导航时间以及能耗方面均优于基线方法。

引言：近年来，无人水面艇在危险海洋区域发挥着重要作用，包括军事情报收集、搜救、水质监测等[1]、[2]。对于几乎所有任务而言，自主导航能力是完成任务的关键。无人水面艇需要在避开障碍物的情况下到达目标点，且不能发生碰撞[3]。现有的导航方法可分为两类，即全局路径规划与局部路径规划[4]。全局路径规划器基于预先绘制的全局地图来搜索最优路线，该地图能够精确标注所有的静态障碍物、可行区域以及地形限制。在[5]中，作者提出了迪杰斯特拉算法，用于在网格地图中寻找最短的无碰撞路径。该算法通过贪心策略迭代扩展累积成本最小的节点，最终通过逆序回溯父节点来确定最优路径[6]。为了提高迪杰斯特拉算法的搜索效率，A*算法利用启发式函数对网格地图进行有方向的搜索，从而显著减少无效节点的扩展。A*算法已被广泛用于移动机器人[7]、无人机[8]以及无人水面艇[9]的路径规划问题。尽管传统A*算法在寻找最短路径方面效果良好，但它也存在一些局限性，如节点数量过多、路径过于靠近障碍物，以及未能考虑船舶的动力特性。近期的一些研究通过各种改进方法解决了这些问题。在[10]中，作者通过整合电子海图中的多尺度信息，提出了一种改进的A*路径规划算法。在开阔水域采用粗粒度搜索，而在近岸区域则采用细粒度搜索，这大大提升了搜索效率。在[11]中，基于时空协同规划机制对A*算法进行了改进，该机制利用时间窗口来预测船舶的动态轨迹。所提出的算法能够生成无碰撞且节能的轨迹。梁等人提出了一种改进的A*算法，他们将安全距离设置直接纳入启发式函数中，而无需手动在障碍物周围设定危险区域[12]。虽然全局路径规划器已被广泛用于开发导航系统，但它们严重依赖于静态且精确的环境地图。一旦环境发生变化，就必须重新执行全局搜索，这就导致了较差的实时决策能力。此外，这类规划器对传感器误差的容忍度也很低。

局部路径规划算法旨在根据船载传感器感知的环境信息，在动态环境中生成无碰撞路径。人工势场法最初是为移动机器人导航而提出的，它通过向目标施加吸引力，同时施加排斥力以避免障碍物[13]。与迪杰斯特拉算法和A*算法相比，基于人工势场法的路径规划器具有处理动态障碍物和生成平滑轨迹的优势[14]。然而，人工势场法也存在局部最优解、目标不可达以及对动态障碍物响应缓慢等问题。近年来，为解决这些问题，人们提出了多种改进方法，包括确定性退火、干扰观测器以及目标分解等[15]。虫群算法是一类反应式的局部路径规划算法，已被广泛应用于完全或部分未知环境中的无人水面艇避障导航[16]。当遇到障碍物时，智能体会直接朝目标前进，或沿着障碍物边界绕行[17]。此外，模型预测控制也因其能够处理约束条件并在预测范围内优化性能，而成为无人水面艇路径规划的强大框架[18]。需要注意的是，这些局部路径规划方法仍然存在局部最优解、对动态障碍物响应缓慢以及易受外部干扰等问题。

强化学习为寻找旨在最大化累积奖励的最优策略提供了框架[19]。智能体通过与环境互动，以试错的方式逐步学习策略。深度强化学习结合了深度学习的表征能力与强化学习的决策能力[20]、[21]。深度强化学习算法已在众多领域展现出堪比甚至超越人类水平的性能[22]、[23]、[24]。最近，深度强化学习在解决无人水面艇的路径规划问题上展现出了巨大潜力。与传统非学习型方法相比，深度强化学习提供了一种端到端的决策架构，能够在无需事先了解水流和障碍物信息的情况下，解决复杂未知环境中的导航问题。在[25]中，提出了一种基于深度强化学习的避碰方法。为提升采样、探索和学习过程的效率，该方法对深度Q网络进行了多项改进。在[26]中，作者通过整合深度Q网络与国际海上避碰规则，提出了一种智能导航算法。基于深度强化学习的方法无需明确定义控制律即可避免动态障碍物。在[27]中，作者提出了一种安全的强化学习方法，该方法利用动态窗口法作为安全动作过滤器，生成可行的速度组合并编码状态，同时通过双延迟深度确定性算法学习最优策略。更为近期的是，已有基于深度强化学习的路径规划器被用于解决多无人水面艇任务规划[28]、协作规划[29]、自主靠泊[30]等问题。

近年来，传统的基于深度强化学习的规划器在未知环境中的无人水面艇导航任务中已展现出良好的性能。然而，仍存在若干挑战。鉴于海洋环境的高不确定性，为无人水面艇设计对风险敏感的导航策略十分重要。分布式强化学习为学习累积奖励的完整分布而非期望值提供了框架，这有助于捕捉环境中的固有不确定性，并由此得出对风险敏感的策略[31]、[32]、[33]。具体而言，已有基于隐式分位数网络的导航算法被提出，用于解决在缺乏环境先验信息情况下的无人水面艇基于传感器 的局部路径规划问题[34]。与基于深度Q网络的方法相比，所开发的规划器在平均回报、成功率以及学习稳定性方面表现更为优异。此外，基于隐式分位数网络的无人水面艇路径规划器还被扩展用于处理具有连续动作空间的分散式多无人水面艇避碰问题[35]。策略的风险敏感性可自动调整，这有助于在高度拥挤的水域提升安全性。尽管基于分布式强化学习的算法已取得了令人瞩目的成果，但由于其采用交互式学习方式，仍存在“样本效率”问题[36]。深度强化学习面临的另一个挑战在于奖励函数的设计[37]。众所周知，深度强化学习的成功在很大程度上取决于合适的奖励函数，而这类函数通常是基于专家知识与领域经验设计的。此类手工设计的奖励函数在不同环境中的泛化能力较差。相比之下，稀疏奖励函数虽然易于设计，且具备出色的泛化能力，但智能体却难以从环境中获得有用的反馈信号[38]。因此，使用稀疏奖励会进一步降低样本效率和学习速度[39]。为解决稀疏奖励带来的问题，人们提出了多种方法，包括奖励塑形[40]、模仿学习[41]、课程学习[42]、事后经验回放[43]、好奇心驱动方法[44]、分层强化学习[45]等等。

为解决未知环境中的无人水面艇导航问题，本文提出了一种新的基于深度强化学习的策略学习方法，该方法充分考虑了稀疏奖励和策略风险所带来的挑战。具体而言，首先基于历史轨迹，通过行为克隆方法离线预训练一个初始策略。然后，利用分布式强化学习算法通过与环境的互动，在线改进这一初始策略。本文的主要贡献如下：•首先将无人水面艇的自主导航问题建模为具有稀疏奖励函数的POMDP问题，并提出了一种新的基于分布式深度强化学习的路径规划方法，该方法结合了基于行为克隆方法的离线初始策略预训练，以及基于分布表示的在线风险敏感策略学习。•通过将初始策略与传统的贪心方法相结合，提出了一种新的探索策略，以此提升算法的样本效率和学习速度。•大量的实验结果表明，所提出的算法能够在稀疏奖励条件下学习出对风险敏感的导航策略。

本文的其余结构如下：第2节介绍了马尔可夫决策过程、传统深度强化学习以及分布式强化学习的一些背景知识。第3节阐述了无人水面艇导航问题的建模方法，并详细说明了环境中的状态、动作及奖励函数。第4节给出了详细的算法设计过程。第5节介绍了实验设置及仿真结果。最后，第6节总结了结论并提出了未来的研究方向。

章节片段：

马尔可夫决策过程：深度强化学习所处的环境通常被建模为马尔可夫决策过程。马尔可夫决策过程可以用一个元组来表示，其中表示状态空间，表示动作空间，表示状态转移概率函数。在每个时间步骤中，智能体会根据当前状态，按照某种策略选择某个动作。随后，奖励函数会提供一个反馈信号，用于评估决策的“合理性”。此外，还表示折扣因子。智能体的目标就是找到……

环境的动态特性：本文考虑的是一个存在未知水流和静态障碍物的海洋环境。无人水面艇需在水流干扰下穿过这些障碍物，并且不能发生任何碰撞。考虑到无人水面艇的尺寸远小于轨迹长度和水流规模，因此采用了简化模型。具体而言，无人水面艇被视为一个点粒子，其运动方程如下：其中和分别表示位置和总速度……

提出的方法：基于所构建的环境马尔可夫决策过程模型，我们提出了一种新的基于深度强化学习的导航算法。该算法考虑了稀疏奖励函数和风险敏感策略。首先，通过基于历史轨迹的模仿学习，离线训练一个初始策略。借助这个预训练策略，我们提出了一种能够高效探索环境并利用稀疏奖励获取有用反馈信号的初始策略。为捕捉海洋环境的不确定性……

实验与结果：在本节中，所提出的算法在模拟的海洋环境中进行了验证。实验结果与几种基线方法进行了比较，这些比较充分体现了该方法在无人水面艇导航问题上的优势。此外，还通过消融实验展示了预训练策略以及初始探索策略的有效性。以下小节将详细介绍仿真设置、评估指标、学习曲线以及评估结果。

结论：本文将复杂未知环境中的无人水面艇导航问题建模为具有稀疏奖励函数的POMDP问题。通过结合离线预训练与在线强化学习，提出了一种自主的、对风险敏感的导航算法。首先，通过行为克隆方法利用历史轨迹训练一个初始策略，这有助于智能体在在线学习初期高效探索环境并到达目标。随后，利用隐式分位数网络来学习……

CRediT作者贡献声明：李晓峰：写作——审稿与编辑，写作——初稿撰写，方法论，研究实施。蒋佳辉：可视化，验证，软件开发。

利益冲突声明：作者声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究部分得到了中央高校基本科研业务费项目B250201086的支持。这项工作部分得到了中国国家自然科学基金的支持，项目编号为62203005。李晓峰目前是中国江苏省常州市213000的河海大学人工智能与自动化学院讲师。他拥有中国南京东南大学的博士学位，研究兴趣包括强化学习、最优控制以及自适应动态规划。李晓峰|蒋佳辉 中国江苏省常州市河海大道1915号河海大学，邮编213000