基于GD-SAC算法的三维水下环境AUV动态避障路径规划

《Robotics and Autonomous Systems》：Dynamic obstacle avoidance path planning for AUVs in 3D underwater environments based on the GD-SAC algorithm

　　

摘要 针对自主水下航行器（AUV）在三维水下环境中规划路径质量低和动态避障性能差等挑战，本文提出了一种名为GD-SAC的动态避障路径规划方法，该方法通过将图注意力网络（GAT）和动态窗口法（DWA）与软演员-评论家（SAC）算法集成，对SAC算法进行了改进。首先，利用GAT对AUV、周围障碍物和目标终点之间的空间关系进行建模，从而增强算法对环境结构的感知能力以及做出合理导航决策的能力。随后，引入动态速度窗口机制来约束SAC算法的动作空间，确保所选动作符合运动学约束。为解决SAC中的稀疏奖励问题，通过融入源自DWA的距离、速度和航向评估指标来改进奖励函数。此外，将优先经验采样引入SAC算法，以缓解随机均匀采样导致的训练缓慢和不稳定问题。实验结果表明，GD-SAC算法生成的路径能够以更高效的收敛速度和更高的平均回报有效避障，降低了AUV在三维水下环境中的避障成本。

引言 随着海洋科学的快速发展，自主水下航行器（AUV）作为水下作业的无人载具[1]，能够在深海环境中高效、精准地执行探索和监测任务[2]，在提高海洋资源利用效率和保障海洋生态系统安全方面发挥着至关重要的作用[3]。然而，由于水下环境的复杂性和不确定性，AUV在躲避各类障碍物时面临着巨大挑战。因此，AUV的高效避障和最优路线确定已成为研究热点和技术难题[4]。

避障路径规划是指在避免与障碍物碰撞的情况下，从起点到目标点寻找最优路径[5]。目前，路径规划方法主要分为两大类。第一类是基于环境信息的全局避障规划[6]。该方法假设已知整体环境信息，构建全局地图模型来规划安全无碰撞的路径。A*算法[7]等经典搜索算法实现简单，在小规模地图上计算效率高。然而，在大规模地图上，搜索算法的性能和效率会显著下降。相比之下，经典智能进化算法，如蚁群算法[8]、蜂群算法[9]和粒子群优化算法[10]，相比传统搜索算法表现出更强的鲁棒性。然而，这些算法存在收敛速度慢和容易陷入局部最优等缺点。尽管如此，基于优化的方法通常需要预定义的任务信息，不太适合动态水下环境中的实时避障。因此，必须将实时环境信息集成到算法中，以实现有效的动态路径规划。

第二类是基于传感器信息的局部避障规划方法[11]。该方法依靠AUV上配备的传感器采集动态环境信息，从而使AUV能够动态调整其导航轨迹。在该领域，许多学者进行了大量研究。具体方法包括人工势场法（APF）[12]、动态窗口法（DWA）[13]和深度强化学习（DRL）算法[14]。APF方法易于实现，适用于实时性要求较高的场景。然而，该方法存在局部极小值和可达性问题[15]。DWA算法充分考虑了AUV的运动学特性，在动态场景中表现良好。然而，随着障碍物数量的增加，其计算效率会显著降低。DRL算法具有强大的自学习能力和优秀的实时性能。然而，它们对参数设置敏感，通常需要大量的环境交互才能开发出有效的策略。

尽管DRL算法在路径规划中面临一定局限性，但大量研究表明，通过利用其与环境交互的能力，这些算法展现出巨大潜力[16]、[17]、[18]。这种交互使基于DRL的算法能够持续学习和优化导航策略，为复杂环境中AUV的避障提供了新的机遇。在这些算法中，深度确定性策略梯度（DDPG）算法在学习连续动作控制策略方面展现出了强大的能力。[19]改进了DDPG以解决海流环境下的滑翔机路径规划问题。同样地，[20]通过将DDPG与自适应多约束相结合设计了控制器，提出了一种AUV路径跟踪和实时避障的新方法。此外，[21]、[22]、[23]利用深度Q网络（DQN）算法解决海流扰动下的路径规划问题。如[24]所示，基于DRL的AUV避障和路径规划方法展现出强大的泛化能力和鲁棒性。[25]引入了一种新的任务分解多智能体孪生延迟深度确定性策略梯度（TD3）算法，实现了有效的路径规划结果。除了上述DRL算法外，软演员-评论家（SAC）算法得益于Q值的软更新和熵正则化[26]，提升了样本效率和训练稳定性，尤其在具有连续动作空间的高维任务中表现突出。在[27]中，成功将SAC与APF结合，在动态环境中实现了高效的在线运动规划。[28]将长短期记忆（LSTM）网络与记忆机制融合到SAC算法中，通过结合历史状态和当前状态，促进了连续运动并改进了决策。为进一步提高SAC在复杂海洋环境中的训练效率，[29]将层次强化学习和混合经验回放策略集成到SAC框架中，提出了一种HMER-SAC算法，改进了样本利用率、收敛速度和训练稳定性。

然而，上述研究中的绝大多数是基于二维环境的，限制了其实际应用性。为提高AUV路径规划在三维水下环境中的适应性和鲁棒性，[30]通过将约束人工势场（C-APF）与TD3算法结合，提出了一种改进的C-APF-TD3算法。具体来说，C-APF生成的近似轨迹被用作TD3训练期间的先验引导，从而提高了未知水下环境中的收敛效率和避障性能。[31]提出了一种基于层次DQN结合优先经验回放（PER）的AUV三维路径规划方法，该方法降低了状态空间的维度并解决了维数灾难问题。此外，[32]提出了一种并行灰狼优化器（P-GWO），用于在障碍物、时间窗口和运动学约束下实现多AUV协同轨迹规划，在三维水下环境中实现了更优的收敛性能和解决方案质量。尽管这些代表性研究在三维AUV路径规划方面展现出了令人前景诱人的性能，但在应对复杂水下环境时仍存在若干局限性。现有方法通常依赖手工制作的基于向量的状态表示，这不足以捕捉AUV、周围障碍物和目标之间复杂的空间关系。此外，大多数基于强化学习的方法在生成连续控制指令时未显式考虑AUV的运动学约束，导致不可行的机动动作和降低导航安全性。此外，稀疏奖励设计在训练期间提供的学习指导有限，导致动态水下环境中收敛速度慢和样本效率低。

为解决这些局限性，本文提出了一种用于三维AUV路径规划的图注意力与动态窗口引导的软演员-评论家（GD-SAC）框架。与现有的基于强化学习的导航方法不同，所提出的框架集成了用于环境表示的图注意力机制，并将DWA作为先验运动知识，通过动作约束和奖励塑形来引导策略学习。所提框架的有效性在多个具有代表性的动态障碍物场景下得到了验证。

本文的主要贡献总结如下：

（1）提出了一种基于图注意力的环境表示方法，以解决传统基于向量的状态表示在建模复杂空间关系方面的局限性。所提出的表示方法显式地捕捉了AUV、周围障碍物和目标之间的交互作用，实现了更丰富的环境感知，提高了在复杂三维水下环境中的导航决策性能。

（2）提出了一种动态窗口引导的动作生成机制，以克服传统基于SAC的导航方法中缺乏运动学约束的问题。通过将DWA集成到动作生成过程中，所提出的机制以动态可行的运动来约束策略输出，从而提高了在线规划期间轨迹的平滑性、运动的可行性和导航的安全性。

（3）提出了一种受DWA启发的奖励塑形策略，以缓解基于强化学习的AUV导航中常见的稀疏奖励问题。通过将航向对齐、障碍物间距、速度偏好、目标到达和避障融入奖励函数，所提出的策略提供了更密集的学习指导，加速了策略收敛，并提高了所提框架的学习效率。

本文其余部分组织如下：第2节介绍了复杂水下环境中AUV的避障问题，并对AUV运动学模型进行了简要概述。第3节聚焦于基于GD-SAC的AUV路径规划。第4节展示了实验结果分析。最后，第5节总结了本文并展望了未来的研究方向。

章节片段

问题描述 AUV在真实海洋中的导航环境既复杂又动态。它不仅包括岛屿、暗礁和沉船等静态障碍物，还包括漂浮碎片、海洋生物和其他AUV等动态且不可预测的障碍物。这些障碍物的动态特性和不确定性要求AUV在执行任务时不断感知周围环境并快速适应突发变化，这对安全导航构成了重大风险[33]。

聚焦

GD-SAC算法框架 针对复杂水下环境中的AUV避障和路径规划任务，所收集的环境信息本质上是连续且高度动态的。SAC凭借其随机策略优化和高效探索能力，在连续控制任务中展现了强大的性能。然而，将SAC直接应用于AUV导航仍面临若干挑战，包括环境表示不足、缺乏对AUV……

实验环境和参数设置 实验在PyCharm中进行，算法使用Python实现，基于Pytorch和OpenAI的Gym强化学习框架。训练所用的硬件为一台具有以下规格的PC：CPU i5-11400 @ 2.60 GHz，32 GB内存，16 GB GPU。算法的超参数通过实验经验确定。GD-SAC算法的关键参数值总结在表1中。

不同场景下基于GD-SAC的AUV路径规划 为验证GD-SAC算法的有效性……

结论 本研究针对三维水下环境中AUV的避障路径规划问题，提出了一种基于GAT和DWA改进SAC的方法。首先，利用GAT对AUV、障碍物和目标点之间的空间关系进行建模，使算法在捕捉AUV与环境之间复杂交互方面更加灵活和有效。其次，将SAC算法输出的动作约束在实际速度搜索空间内……

CRediT作者贡献声明 苏一鑫：论文撰写–审阅与编辑、可视化、监督、方法学、概念化。何伟：论文撰写–审阅与编辑、论文撰写–初稿撰写、软件、方法学、形式分析、数据整理、概念化。谢国兵：形式分析、数据整理。石炳华：论文撰写–审阅与编辑、资源、项目管理、资金获取。梅凯：资源、方法学、调查研究。胡王文：可视化、验证、软件、概念化。

利益冲突声明 作者声明不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响到本文所报告的工作。

致谢 作者感谢武汉理工大学和湖北经济学院的支持。本研究得到国家自然科学基金（项目编号：52201363）、湖北省自然科学基金（项目编号：2023AFB562, 2026AFC1136）、湖北省教育厅科学研究计划项目（项目编号：Q20222202, Q20212204）、湖北省人工智能优秀青年和中年科技创新团队的支持。

苏一鑫|何伟|谢国兵|石炳华|梅凯|胡王文