面向动态海洋环境中AUV路径规划的安全感知事后经验重放算法

《Ocean Engineering》：Safety-aware hindsight experience replay for AUV path planning in dynamic marine environments

　　

• HSAC 将 HER 扩展到部分可观测的动态 AUV 导航场景中。
• 基于声呐的安全过滤机制移除了不安全的 hindsight 目标。
• 历史帧目标一致性重写机制保持了时间一致性。
• 数据驱动的三维环境整合了地形、洋流和移动障碍物。
• 与基于 SAC 的基线方法相比，HSAC 提高了任务成功率和避撞能力。

**引言**

自主水下航行器（AUV）在海洋工程和海洋科学中发挥着重要作用。近年来，它们被广泛应用于海洋环境监测、海底测绘和海底管道检测等任务。在这些应用中，AUV 通常需要在通信受限且高度不确定的环境条件下自主完成导航和决策（Cheng et al., 2021, Meng et al., 2025）。

路径规划是 AUV 实现自主导航和决策所需的基本能力之一。其主要目标是在给定约束条件下，将 AUV 安全地引导至目标区域，同时优化航程距离、任务时间和能量消耗等关键性能指标（Cheng et al., 2021, Zhang et al., 2023）。然而，海洋环境的复杂性大幅增加了路径规划的难度。具体而言，复杂的三维地形和边界条件限制了可航行空间，动态障碍物和有限的感知范围增加了避碰的不确定性，而空间变化的洋流及其与能量消耗的耦合进一步增加了规划问题的复杂度（Sun et al., 2022, Meng et al., 2025, Tang et al., 2024）。

为应对这些挑战，已有大量方法被提出用于 AUV 路径规划。现有研究通常可从两个角度进行分类，即信息可用性和计算范式。从信息可用性的角度，相关方法主要包括面向已知静态环境的全局规划方法和面向未知或动态环境的局部规划方法（Cheng et al., 2021, Meng et al., 2023）。从计算范式的角度，现有方法可大致分为图搜索方法、人工势场方法和群体智能或进化优化方法（Sun et al., 2022, Zhang et al., 2024, Su et al., 2026）。其中，以 A* 及其变体为代表的图搜索方法被广泛用于网格化或离散化空间中的最优或近最优路径搜索，并可通过引入与约束相关的代价项或启发函数在工程应用中进一步扩展（Zhang et al., 2023, Sun et al., 2022, Hart et al., 1968）。人工势场方法通过构建朝向目标的吸引力和来自障碍物的排斥力来实现快速避障。这些方法形式简洁、计算效率高，但容易产生局部极小值（Zhang et al., 2023, Khatib, 1986）。相比之下，群体智能和进化优化方法，如遗传算法（GA）、粒子群优化（PSO）和蚁群优化（ACO），可通过基于种群的搜索获得全局解，并表现出对复杂约束的良好适应性。然而，它们往往面临计算成本高和实时性能有限的局限（Hao et al., 2022, Che et al., 2020, Dorigo et al., 1996, Sui et al., 2023, Wei et al., 2022）。

尽管上述传统方法在特定场景中取得了显著进展，但随着任务复杂度的不断增加，其工程局限性也日益凸显。首先，三维环境大幅扩大了搜索空间，进一步增加了在线规划所需的时间。其次，在未知环境中，依赖先验地图信息的方法往往难以保持稳定有效的规划性能。第三，动态障碍物的存在要求规划器持续重新规划，同时确保生成的路径仍可被控制器执行。此外，洋流扰动使得最短路径不再等同于最短时间或最低能耗路径，并进一步引入了环境载荷与推进能量消耗之间的耦合（Sun et al., 2022, Meng et al., 2025）。基于上述原因，越来越多的研究关注基于学习的方法来增强 AUV 在复杂海洋环境中的在线决策能力（Zhang et al., 2024, Tang et al., 2024）。

在此背景下，深度强化学习（DRL）为 AUV 路径规划提供了新的视角。此类方法通常将路径规划问题建模为马尔可夫决策过程（MDP），并通过智能体与环境之间的持续交互来学习最优策略。与传统方法相比，DRL 在训练完成后可直接根据局部观测输出控制指令，使其更适用于未知或动态环境中的在线规划（Tang et al., 2024, Zhang et al., 2024）。近年来，连续动作强化学习算法，如深度确定性策略梯度（DDPG）、孪生延迟深度确定性策略梯度（TD3）和软演员—评论家（SAC），已被广泛应用于水下避障和路径规划，并通过奖励塑形和状态表示设计提升了收敛性能和决策质量（Xu et al., 2022, Li and Yu, 2025, Haarnoja et al., 2018, Fujimoto et al., 2018, Lillicrap et al., 2015）。在此基础上，一些研究进一步将洋流信息纳入状态构建和代价建模，或开发了整合多源海洋信息的任务框架，从而提升了复杂环境中的路径规划性能（Chu et al., 2022, Xi et al., 2022, Yang et al., 2022, Jiang et al., 2024）。更近期的研究中，Wang 等人（2026）开发了一种信息互依的 SAC 框架，通过整合多源环境信息和特征编码来提取关键海洋状态，并结合考虑任务完成度、能量消耗和运动效率的动态复合奖励。该设计增强了环境感知能力并促进了洋流的有效利用。与此研究方向互补，本文聚焦于部分可观测动态环境中基于 HER 的目标重标注的安全性和时间一致性问题。

尽管取得了上述进展，现有基于 DRL 的 AUV 路径规划研究仍面临若干关键挑战：

• **有限且可能不一致的经验复用**：三维导航任务通常面临稀疏奖励问题，这限制了收集经验的有效利用。虽然 HER 可通过将此前到达的状态重新标注为替代目标来缓解这一问题，但其直接应用于部分可观测的动态导航场景会引入额外挑战（Andrychowicz et al., 2017）。在未考虑局部障碍物信息的情况下，被选中的未来状态即使位于高风险区域，也可能被重新标注为目标，从而为避障任务引入不良的学习目标。此外，当使用帧堆叠来表示时间信息时，仅更新当前目标会导致历史观测中的目标信息不一致，从而降低重新标注经验的时间连贯性。因此，HER 需要根据部分可观测动态 AUV 导航场景的特点进行适配，以兼顾目标安全性和时间一致性。

• **碰撞评估失真**：离散的碰撞检测仍然被广泛采用，但难以准确刻画与动态障碍物交互过程中的连续接触过程。

• **现有基准中的环境复杂度有限**：现有研究通常使用简化的地形、洋流和动态障碍物表示，这可能限制了策略训练和评估所用条件的多样性。

为解决上述问题，本文的主要贡献总结如下：

• 针对动态 AUV 导航提出了一种安全感知的 hindsight 目标重标注策略。利用声呐观测排除靠近障碍物的候选目标，从而减少潜在不安全的重标注经验。

• 针对帧堆叠观测引入了一种历史帧目标一致性重写机制。当分配 hindsight 目标时，所有历史帧中的目标相关信息会被同步更新，从而保持重标注状态序列的时间一致性。

• 采用连续时间碰撞检测来改进动态环境中的碰撞事件评估。该框架在包含海底地形、洋流和移动障碍物的数据驱动三维环境中进行了评估。

本文其余部分组织如下：第 2 节介绍问题建模和相关基础知识。第 3 节提出所提方法的实现细节。随后，第 4 节报告仿真结果并提供进一步分析。最后，第 5 节给出结论和未来研究方向。

**各节概述**

**基础知识**

本节介绍了所提方法所基于的基本模型和理论背景，包括声呐检测模型、AUV 位置更新模型、洋流模型、障碍物运动模型以及深度强化学习框架。

**方法论**

本节介绍了碰撞检测机制和 HSAC 的实现细节。具体而言，HSAC 由两部分组成：一个深度强化学习环境，定义了状态空间、动作空间和复合奖励函数；以及一个基于 HER 的时间感知优化机制，该机制基于目标条件策略构建。

**实验设置**

所有实验均在一台配备第 12 代 Intel(R) Core(TM) i5-12600KF 处理器和 32 GB 内存、运行 Windows 系统的计算机上完成。GPU 为 NVIDIA GeForce RTX 4060。所有算法均使用 PyTorch 实现。实验代码使用 Python 3.9 在 PyCharm 2024.1.7 中开发。

仿真参数列于表 1 中。

表 1 中共享的环境和训练设置在所有适用方法和实验场景中均保持不变。所有基于 HER 的……

**结论**

本研究利用海底地形数据和 HYCOM 洋流数据构建了一个紧凑的、数据驱动的三维仿真环境，用于 AUV 路径规划评估。该环境融合了海底地形、洋流扰动和动态障碍物。为应对复杂三维空间中的稀疏奖励和部分可观测性问题，本文提出了 HSAC 算法。设计了一种兼容帧堆叠输入的基于目标条件的经验回放机制，该机制扩展了……

**CRediT 作者贡献声明**

郑慧娟：审阅与编辑、原创稿件撰写、软件开发、方法研究、数据整理、概念构思。
王浩：项目监督、方法研究、基金获取、形式化分析、概念构思。
张晓悦：软件开发、调查研究。
韩光杰：项目监督、形式化分析。

**利益冲突声明**

作者声明不存在已知的可能影响本文报告工作的竞争性经济利益或个人关系。

**致谢**

作者感谢编辑和匿名审稿人提出的宝贵意见和建设性建议。本研究得到了国家自然科学基金联合基金（项目编号：U22A2011）的资助，并部分得到了国家留学基金委员会（CSC，编号：202506710177）的支持。

郑慧娟 | 王浩 | 张晓悦 | 韩光杰