动态未知环境下无人水面艇的海洋数据辅助运动控制：一种分布式深度强化学习方法

《TRANSPORTATION RESEARCH PART E-LOGISTICS AND TRANSPORTATION REVIEW》：Marine data-assisted motion control for unmanned surface vehicles in dynamic unknown environments: A distributed deep reinforcement learning approach

　　

•一个数据辅助的 DRL 框架整合了 USV 路径规划和路径跟踪。
•利用真实海洋学数据构建海洋环境模型。
•带有 CPER 的分布式 TD3 提高了多任务学习的效率和稳定性。
•仿真结果表明自主海事系统性能得到提升。

1. 引言

自主水面平台正在日益重塑现代海事运输和物流系统的运营与管理。在这些技术中，无人水面艇（USV）已成为智能海事系统的重要组成部分，因为它们能够在复杂且动态的海洋环境中长时间自主运行（Li et al., 2023, Toyomoto et al., 2025）。USV 支持物流中的各种应用，包括港口基础设施检查、航运通道监测、海事交通监视和环境监测，从而提高了港口和沿海物流作业的安全性和效率。此外，它们通过实现离岸平台之间的自主货物交付并支持关键海上运输走廊的监测任务，促进了离岸物流的发展。更广泛地说，自主平台和数据驱动决策系统可以提高海事物流性能，同时支持全球航运的治理现代化和绿色转型（Dallolio et al., 2021, Yang et al., 2020）。

然而，实现这些益处需要可靠的 USV 在动态海事环境中的导航。海事导航决策受到巨大不确定性的影响，因为海流、风场、流体动力干扰以及附近的船只和漂浮物等动态障碍物在空间和时间上不断变化。这些干扰可能会改变 USV 的轨迹，降低运动稳定性，并增加偏离计划路线的风险。因此，鲁棒且自适应的运动控制策略对于支持 USV 安全融入海事物流和运输系统至关重要。

基于这种对鲁棒和自适应导航的需求，USV 导航问题通常涉及两个密切相关的任务：路径规划和路径跟踪。路径规划旨在确定一条从起点到目的地的可行且高效的路线，同时避开障碍物并减少与路线相关的成本，如行驶距离和导航时间。相比之下，路径跟踪侧重于生成控制命令，使船舶能够在环境干扰下准确跟踪计划轨迹。然而，现有研究通常将这两个任务分开处理，分别为规划和跟踪学习不同的控制策略，当海洋条件动态变化时，这可能导致次优的导航决策（Huang et al., 2024, Li et al., 2022, Zhao et al., 2021）。因此，对路线生成和运动控制的协调处理对于提高 USV 在动态海事作业中的导航可靠性很重要。

人工智能的最新进展为解决这些挑战提供了新的机会。特别是，深度强化学习（DRL）在解决不确定性下的复杂序贯决策问题方面显示出巨大潜力。通过与动态环境的交互，DRL 智能体可以通过试错学习导航策略，而无需依赖系统动力学的完全显式模型。这一特性使 DRL 适用于 USV 导航，因为在 USV 导航中，环境干扰和船舶动力学难以准确建模。然而，现有的基于 DRL 的研究仍面临三大局限。首先，许多研究将路径规划和路径跟踪视为独立的任务。通常独立开发不同的策略或控制策略用于路线生成和路径跟踪（Huang et al., 2024, Li et al., 2022, Zhao et al., 2021）。这种分离的设计可能会削弱高级导航决策和低级运动控制之间的协调，当海洋条件动态变化时。其次，大多数基于 DRL 的 USV 方法依赖于单进程或弱协调的训练架构。因此，它们可能面临采样效率有限、经验高度相关以及收敛不稳定的问题，特别是在多样的海洋干扰条件下。第三，现有研究通常使用具有静态、均匀或理想化干扰的简化仿真环境（Wang et al., 2023b）。同时，传统的回放机制通常在采样经验时不区分任务上下文或导航结果。这可能会减少具有信息量的成功轨迹和涉及安全风险 的失败案例的复用（Gu et al., 2022, Zheng et al., 2023）。这些局限限制了基于 DRL 的 USV 导航方法在动态海事环境中的学习效率、适应性和可靠性。

因此，本研究做出以下贡献以应对上述挑战和局限。
(1) 任务感知共享分布式 DRL 框架。本研究引入了一种任务感知共享的 DTD3-CPER 框架，解决了两个耦合的 USV 导航任务：路径规划和路径跟踪。不同于使用单一通用策略的方法，提出的框架制定了特定任务模型，并在通用分布式学习架构内协调它们。
(2) 海洋学数据驱动的仿真环境。本研究通过将由 ERA5 数据集提供的海流和风场数据纳入基于网格的导航模型，构建了一个数据驱动的海洋仿真环境。与具有均匀干扰的静态、无流或理想化设置相比，该环境为评估动态海洋干扰下的 USV 导航策略提供了更具数据支撑的测试平台。
(3) 带有类别优先经验回放的分布式 TD3。引入了一种带有类别优先经验回放（DTD3-CPER）的分布式 TD3 算法，以提高学习效率和策略稳定性。分布式架构加速了训练收敛，而正面、负面和中性经验的优先采样增强了动态海事场景中的样本效率。
(4) 任务感知奖励函数设计。设计了新颖的奖励函数，以纳入环境信息和任务约束，从而缓解稀疏奖励问题。这引导 USV 在未知动态环境中走向最优运动控制策略，支持其可靠地集成到智能海事物流系统中。

本文的其余部分安排如下。第 2 节综述了关于 USV 导航和基于 DRL 的运动控制的相关文献。第 3 节提出了基于 DRL 的 USV 运动控制系统的建模框架。第 4 节介绍了带有类别优先经验回放的分布式 TD3 算法。第 5 节报告了实验结果和性能评估。最后，第 6 节总结了本文并讨论了未来研究方向。

2. 文献综述

在 USV 导航研究中，海洋环境建模为方法开发和性能评估提供了基础。基于不同的环境表示，现有方法可大致分为三个主要方向：传统路径规划算法、基于模型的控制方法和基于 DRL 的导航技术。以下小节综述了这三个研究方向，代表性研究总结在表 1 中。

表 1. USV 运动控制中应用的方法。

| 方法 | 具体技术 | 参考文献 |
| :--- | :--- | :--- |
| 传统路径规划算法 | A* | Yu et al. (2021) |
| | APF | Wang et al. (2023a) |
| | RRT* | Zhang et al. (2023c) |
| 智能仿生算法 | PSO | Ma et al. (2018) |
| | 植物生长 | Bai et al. (2023) |
| | GWO | Qu et al. (2020) |
| 基于模型的控制算法 | MPC | Liu et al. (2020), Liu et al. (2018) |
| | 反步控制 | Dong et al. (2015) |
| | 神经网络控制 | Chen et al. (2019) |
| | 模糊逻辑控制 | Hwang et al. (2017) |
| 深度强化学习 | DQN | Zhao et al. (2020) |
| | DDPG | Wang et al. (2024) |
| | TD3 | Zhang et al. (2023b) |
| | PPO | He et al. (2021) |

2.1. 海洋环境建模

USV 运行在具有巨大不确定性的复杂海洋环境中。具体来说，USV 导航受到静态障碍物（如岛屿和礁石）、动态流体动力干扰（包括湍流和涡旋）以及海面风力的影响。这些环境因素可能导致显著的路径偏差，并增加搁浅或倾覆等事故风险。早期的 USV 导航研究主要集中于确定性路径规划算法，以在静态环境中生成无碰撞路线。例如，学者们（Yu et al., 2023）利用预测的海流速度变化为 USV 规划节能路线。在 Song et al. (2017) 中，通过数学生成双环流场来模拟海流对 USV 导航的影响。然而，仅建模海流不足以捕捉真实海事条件的全部复杂性。后续研究（Gu et al., 2022, Zheng et al., 2023, Zheng et al., 2022）将海流和风都纳入环境模型，但这些因素通常被表示为在时间和空间上保持不变的均匀向量场。在 Wang et al. (2023b) 中取得了进一步进展，其中研究了包括波浪、海流和风在内的多种环境因素下的 USV 运动控制，这些因素通过余弦振荡进行模拟。为了更好地表示真实的沿海特征，如岛屿和礁石，Wang et al. (2019) 中的研究人员使用泊松分布来模拟随机动态地形。他们的结果显示避碰性能得到改善，并对复杂环境的适应性增强。

尽管这些研究推进了 USV 导航研究，但先前工作（Song et al., 2017, Yu et al., 2023）中使用的简化静态或理想化环境模型无法充分代表真实的海事条件。因为这些模型缺乏真实环境数据的支持，在这种环境中训练或测试的导航策略在实际海洋环境中部署时可能会表现不佳。因此，为了提高 USV 在复杂环境中的适应性并解决上述局限，有必要建立更真实的环境模型，将海流、风场和障碍物整合在一起，并研究它们对导航安全性和效率的综合影响。

2.2. 传统 USV 路径规划

传统路径规划算法，包括 A* 算法、人工势场（APF）方法和快速扩展随机树（RRT）算法，已被广泛用于 USV 导航。这些方法构成了许多早期导航系统的基础，并不断被改进以提高规划性能。例如，Yu et al. (2021) 提出了一种结合速度变化和全局优化的改进 A* 算法，以增强避障能力。类似地，学者们（Wang et al., 2023a）开发了一种动态目标 APF 方法，其中沿预先规划的全局 A* 路径移动的点是势场中的动态目标，从而提高了 USV 导航的响应能力和安全性。尽管有这些进展，这些方法主要是为静态环境设计的，对动态变化条件的敏感性有限，这限制了它们在实际海事场景中的适用性。为了解决动态环境中的导航问题，研究人员（Zhang et al., 2023c）利用 RRT* 算法的强大搜索效率，提出了一种基于流的向量场 RRT* 方法，用于由流函数描述的海流场中的路径规划。这种方法代表了将环境干扰纳入传统规划框架的重要一步。然而，它仍面临一些内在局限。生成的搜索树边缘可能违反车辆的动力学约束，计划的路径可能受到狭窄通道的不利影响，并且 RRT 算法不能保证全局最优性，可能会陷入局部极小值。

总之，尽管传统路径规划算法在结构化或简化环境中很有用，但当应用于复杂且动态的海洋条件时，其有效性会降低。这些局限突显了对能够同时处理环境干扰和车辆约束的更先进导航方法的需求。

2.3. 智能仿生算法

各种智能仿生算法越来越多地应用于 USV 导航问题。这些算法通常具有较强的全局搜索能力，使它们能够广泛探索解空间并识别全局最优或近似最优路径。例如，Ma et al. (2018) 使用粒子群优化（PSO）开发了一种 USV 在海流环境下的路径规划多目标优化模型。该方法生成了一组高质量的帕累托最优路径，平衡了多个相互冲突的目标。在 Bai et al. (2023) 中，提出了一种受植物生长启发的路径规划算法。通过模仿植物向光性并模拟光强度，该算法引导 USV 避开障碍物并安全到达目标。此外，研究人员（Qu et al., 2020）采用灰狼优化器（GWO）在复杂环境中生成平滑路径，展示了群体智能在 USV 导航中的适用性。

尽管它们在全局优化方面具有理论优势，但智能仿生算法仍面临实际局限。它们通常需要在搜索过程中进行大量迭代和广泛的适应度评估，导致收敛缓慢以及相当大的计算和内存成本。这些低效性在需要快速路径规划的大规模或时间敏感导航场景中变得更加明显。

2.4. 基于模型的运动控制方法

基于模型的控制方法已被广泛用于生成运动控制命令，使 USV 能够以最小的动态误差跟踪参考路径。这些方法包括模型预测控制（MPC）、自适应控制、滑模控制（SMC）和反步控制，它们依赖于船舶动力学的数学模型来计算控制输入。例如，引入了一种基于 Lyapunov 的 MPC 算法，用于静水条件下的路径跟踪（Liu et al., 2020）。学者们（Liu et al., 2018）开发了一种带有干扰补偿的自适应路径跟踪控制器，明确考虑了环境干扰和系统约束。

同样，研究人员（Dong 等，2015 年）利用状态反馈反步控制解决了曲线和直线场景下的跟踪问题，证明了基于模型的方法在不同导航环境中的多功能性。尽管这些方法在受控环境中有效，但它们严重依赖于准确的系统模型和参数。然而，对于在实际海洋条件下运行的无人水面艇（USV）来说，很难精确获得此类模型。模型误差、参数不确定性和未建模动态会显著降低控制性能。为了减少这种依赖性，一些研究将神经网络或模糊逻辑与常规控制框架相结合。例如，Chen 等（2019 年）利用神经网络（NNs）近似未知的外部干扰和不确定的水动力效应，开发了全状态和输出反馈路径跟踪方案。在 Hwang 等（2017 年）的研究中，开发了一种基于模糊动态滑模控制的层次化路径跟踪策略，以提高对模型不确定性的鲁棒性。然而，这些混合方法通常在参数选择和调优方面面临挑战，需要大量的专家干预和广泛的试错调整。总体而言，基于模型的控制方法在标称条件下提供了理论严谨性和可靠的性能。然而，其复杂性和对模型准确性的敏感性给复杂海洋环境中的实时部署带来了挑战。这些局限性促使人们探索无需精确系统模型即可有效运行的数据驱动方法。

2.5. 无人水面艇的深度强化学习

随着人工智能的快速发展，深度强化学习（DRL）已广泛应用于智能机器人、推荐系统和工业自动化等领域（Khan 等，2025 年；Liu 等，2022 年；Zhang 等，2023a 年）。通过允许智能体通过试错与动态环境持续交互，深度强化学习能够实现近最优控制策略的自主学习，而无需显式的系统模型。近年来，将深度强化学习应用于无人水面艇运动控制方面取得了显著进展，包括避障导航和路径跟踪任务。

为了解决自主导航和避障问题，Wang 等（2024 年）提出了一种基于 Q 学习的策略。然而，其对复杂 Q 表的依赖需要大量的存储资源，这限制了可扩展性。为了克服这个问题，学者们（Lin 等，2025 年）提出了一种基于融合深度 Q 网络（DQN）的路径规划方法，其中神经网络用于近似 Q 表并缓解维度问题。尽管如此，基于 DQN 的方法仅限于离散动作输出，这限制了连续导航场景中的控制精度。随后，Lou 等（2024 年）开发了一种基于深度确定性策略梯度（DDPG）算法的自适应避障方法。该方法设计了感官线索、执行动作和奖励反馈函数，以在不确定环境中实现鲁棒的避障。然而，基于 DDPG 的方法可能会遭受 Q 值高估的影响，从而降低策略质量。为了缓解这一问题，Cui 等（2024 年）开发了一种基于双延迟深度确定性策略梯度（TD3）算法的端到端联合路径规划和控制方案。该方法采用了一种综合考虑能量优化和洋流影响的综合奖励函数，以提高对海洋干扰的鲁棒性。为了进一步提高样本效率，一些学者（Liu 等，2024 年）将优先经验回放（PER）机制引入深度强化学习框架，允许重要经验被更频繁地回放。然而，现有的 PER 方法通常主要根据 TD 误差对样本进行优先排序，而未充分考虑到由不同导航任务或结果生成的经验之间的结构差异。

除了避障，深度强化学习算法在路径跟踪任务中也显示出令人前景的性能。例如，Zhao 等（2020 年）提出了一种平滑收敛的基于 DQN 的路径跟踪方法，有效降低了欠驱动无人水面艇的控制复杂度。在 Wang 等（2024 年）的研究中，双评论家设计和积分补偿器被纳入传统的 DDPG 算法中，显著提高了跟踪精度和鲁棒性。该方法通过模拟和实际海上实验验证了其自学习和路径跟踪能力。随后，Zhao 等（2021 年）使用一种带有随机制动的改进深度强化学习方法解决了无人水面艇编队的路径跟踪问题，尽管该研究仍局限于单一任务场景。虽然传统的无人水面艇运动规划方法通常仅针对路径规划或路径跟踪设计，但深度强化学习通过结构化的状态表示和奖励设计，提供了处理多任务导航的潜力（Zhang 等，2023b 年）。例如，He 等（2021 年）引入了一种异步多线程近端策略优化（AMPPO）方法，在规划与跟踪任务中均显示出改进的性能。然而，该研究使用的海洋环境相对简化，且多个导航任务之间的耦合仍然有限。

除了算法改进，分布式深度强化学习也日益受到关注，因为它可以通过与多个环境的并行交互来加速经验收集并提高训练效率。具有代表性的分布式强化学习架构包括异步优势演员 - 评论家（A3C）（Mnh 等，2016 年）、重要性加权演员学习者架构（IMPALA）（Espeholt 等，2018 年）以及 PPO 的分布式变体，如 DD-PPO（Wijmans 等，2019 年）。这些方法通常通过使用多个 worker 并行收集经验来提高采样效率。然而，它们也存在局限性。A3C 可能会遭受延迟策略更新和梯度不稳定的问题；IMPALA 需要校正机制来处理离策略轨迹；DD-PPO 通常涉及高昂的同步和通信成本。在无人水面艇导航领域，现有的分布式深度强化学习应用仍然相对有限，且大多数研究在回放期间并未明确区分任务特定的经验或导航结果。因此，如何结合分布式训练、任务感知经验管理和高效回放机制，仍然是动态海洋条件下基于深度强化学习的无人水面艇导航的一个重要问题。

最近的研究也开始探索自主海事系统的综合规划与控制。这些研究不再将路线生成和运动控制视为完全独立的模块，而是尝试在统一或层次化的框架内协调高层导航决策与低层跟踪或控制动作（Mahipala and Johansen, 2023; Wang 等，2021 年；Zhang 等，2022 年）。此类方法提高了规划路径与可执行船体运动之间的一致性，特别是在洋流、风和障碍物不断变化的动态环境中。从海事运输和管理的角度来看，综合规划与控制可以支持港口检查、海岸监控、近海物流和短途货物运输中的更安全自主导航。它还可以帮助港口运营商和海事管理者评估路线可行性，减少人工干预，并在不确定的海洋条件下提高运营可靠性。然而，许多现有的综合方法仍然依赖于简化的海洋环境、有限的任务交互机制或单一任务训练设置。因此，需要进一步研究以开发能够更有效地协调规划与跟踪的学习框架，同时在真实的海洋干扰下保持适应性。

3. 基于深度强化学习的无人水面艇运动控制建模

为了开发有效的控制策略，本节提出了基于深度强化学习的无人水面艇运动控制框架。首先，利用真实世界的环境数据构建动态模拟环境。随后，描述了无人水面艇路径规划和路径跟踪任务的马尔可夫决策过程（MDP）公式化。

3.1. 动态海洋环境建模

为了减轻现有某些研究中过于简化的环境表示的局限性，本文构建了一个动态模拟环境，该环境整合了 ERA5 数据集中的真实世界洋流和风数据，并结合随机生成的障碍物，以模拟实际导航中遇到的动态干扰和静态障碍物。真实环境数据的引入提高了模拟环境相对于理想化或无干扰设置的代表性，从而增强了学习到的无人水面艇运动控制策略的可信度。

为了构建一个包含地形约束和海洋扰动的数据增强海洋模拟环境，本文选择南海的一个代表性区域作为研究区域，如图 1 所示。选择该区域是因为它具有明显的航运活动和代表性的海洋环境条件，适合评估真实扰动场景下的无人水面艇导航。该区域被离散化为均匀的 100 × 100 网格，其中每个单元格存储障碍物信息和相应的环境扰动变量。为了量化导航风险并降低碰撞或搁浅的可能性，环境被分为高风险区和低风险区。具体而言，无障碍区域被编码为"0"，表示安全导航区，而包含障碍物的区域被编码为"1"，表示禁止区域。此外，障碍物区域内 2 米范围内的单元格被指定为高风险区，以增强安全裕度。

图 1. 南海地形图。黑框标识研究海域：117.5°E 至 119°E，20.5°N 至 22°N。

海洋流和风场数据取自欧洲中期天气预报中心（ECMWF）ERA5 再分析数据集，时间范围为 2019 年 1 月至 2020 年 6 月。ERA5 提供海洋环境变量的网格化空间数据。这些海洋变量被整合到一个统一的扰动向量场中，以表示本研究中考虑的空间变化的海洋操作条件。为了捕捉环境动态的时间演化，引入了离散时间间隔ΔT。首先应用双线性插值将洋流数据分辨率细化到 0.1°，确保与基于网格的环境模型兼容。最后，使用反距离加权（IDW）方法将环境信息空间集成到模拟网格中。采用 IDW 是因为 ERA5 再分析变量最初是以网格化空间数据提供的，这与提出的海洋模拟环境的基于网格的表示自然一致。在这种设置下，任意无人水面艇位置的环境信息可以根据相邻网格点的空间距离高效地从邻近网格点估计。这种方法在保留基于 ERA5 的洋流和风场的空间变异性与在大规模强化学习训练期间保持重复扰动查询的计算效率之间提供了实用的权衡。因此，建立了一个基于 ERA5 信息且计算可行的海洋模拟环境，用于无人水面艇导航研究。

如图 2 所示，每个网格 $P_i(x_i, y_i)$ 都有一个相应的环境信息向量 $\mathbf{I}_{P_i}(t)=(u^I_i(t), v^I_i(t), \phi^I_i(t))$，其中 $u^I_i(t)$ 和 $v^I_i(t)$ 分别是环境信息沿横向和纵向方向的速度。$\phi^I_i(t)$ 表示环境信息的方向。由于无人水面艇的位置是连续的，而网格环境中的环境元素是离散的，位置 P 处的环境元素可以根据八个相邻点 $(u^I_i(t), v^I_i(t), \phi^I_i(t)), i=1,\dots,8$ 的距离进行加权。可以表示为：
(1) $\mathbf{I}_P(t)=\frac{\sum_{i=1}^{8} \mathbf{I}_i(t) / \|\mathbf{P}_i - \mathbf{P}\|^2}{\sum_{i=1}^{8} 1 / \|\mathbf{P}_i - \mathbf{P}\|^2}$

图 2. 研究海域海洋环境模型的可视化，该区域被划分为 100 × 100 网格。每个网格上的黑箭头表示环境信息。黑方块代表随机分布的障碍物。

此外，我们将环境信息幅值$\mathcal{M}$定义为 $u^I_i(t)$ 和 $v^I_i(t)$ 的欧几里得范数，表示为：
(2) $\mathcal{M}=\sqrt{u^I_i(t)^2 + v^I_i(t)^2}$

3.2. 马尔可夫决策过程建模

基于海洋数据增强的模拟环境，路径规划和路径跟踪被公式化为特定任务的 MDP，因为它们涉及不同的状态空间、动作含义和奖励目标。所提出的框架不假设单一通用策略；相反，两个任务通过具有任务感知经验管理的共享 DTD3-CPER 学习架构进行协调。详细的 MDP 公式化如下。

3.2.1. 状态转移函数

通常，无人水面艇主要通过调整舵或螺旋桨产生矢量推力来控制。为了更好地模拟实际运营条件并提高控制精度，无人水面艇的运动控制输入定义为航向角和速度。相应地，二维连续动作空间公式化如下：
(3) $a_t=(v_{USV}(t), \psi(t))$
其中 $v_{USV}(t)$ 和 $\psi(t)$ 分别代表当前速度输出和航向角输出。

此外，无人水面艇的运动受外部环境条件和内部控制动态的影响。描述无人水面艇在复杂海洋环境中状态演化的状态转移函数可以公式化如下：
(4) $\begin{cases} u(t)=v_{USV}(t) \cdot \cos \psi(t) + u^{It}(t) \\ v(t)=v_{USV}(t) \cdot \sin \psi(t) + v^{It}(t) \end{cases}$
其中 $u(t)$ 和 $v(t)$ 分别代表无人水面艇的横向和纵向速度。

随后，在一个控制间隔 $t_c$ 内，无人水面艇的位置从 $P(x, y)$ 转移到 $P(x', y')$ 可以计算为：
(5) $\begin{bmatrix} x' \\ y' \end{bmatrix}=\begin{bmatrix} x \\ y \end{bmatrix}+t_c \begin{bmatrix} u(t) \\ v(t) \end{bmatrix}$

3.2.2. 路径规划任务配置

在路径规划任务中，目标是在复杂的海洋环境中生成安全高效的导航路径，同时避免与障碍物碰撞。

综合考虑任务目标、环境条件以及无人水面艇（USV）的动力学特性，状态空间定义如下：(6)????=[??,??,??,????,????????,????]，其中 ??=(??,??) 表示 USV 的位置向量，ψ 表示其航向角。d 是当前 USV 位置 (x, y) 到目标位置 (xg, yg) 的欧氏距离，计算如下：??=√(???????)?2+(???????)?2。ds 表示到周围障碍物的聚合距离，可通过激光雷达等机载传感器获取，计算方式为 ????=∑????=1|??????????|?2，其中 obi 表示第 i 个检测到障碍物的位置。UUSV 是 USV 的实际速度向量。最后，?????(??)=(?????(??),?????(??),?????(??)) 表示由高频传感器获取的实时环境信息，包括洋流分量和风向。纳入此类全面的环境数据增强了 USV 的态势感知，并促进了导航决策。

此外，精心设计的奖励函数在引导智能体实现任务目标及为策略网络更新提供信息性反馈方面起着关键作用。为了解决稀疏奖励导致的训练效率低和收敛到局部最优等挑战，我们设计了一个包含多个子奖励组件的综合奖励函数。为了引导 USV 高效地朝向目标点，我们引入了基于距离的奖励并结合步数惩罚组件。随着 USV 在更少的步数内缩短与目标的距离，奖励会增加，从而鼓励定向进展并抑制无效行为，如保持静止或无目的打转。(7)????=??1??+??2???????????，其中 nstep 是 USV 的决策步数。k1 和 k2 是确定不同奖励显著权重的系数因子。为了鼓励 USV 利用环境信息进行节能导航，我们设计了一种基于 USV 航向与盛行环境力方向之间夹角的利用环境奖励。较小的角度差异会产生较高的正向奖励，激励与环境条件一致的运动。相反，较大的角度会产生惩罚，反映了克服环境阻力所需的额外能量。(8)????=cos?|?????|，其中 ? 表示环境信息的方向。此外，设计了一种安全奖励 rs 以鼓励避障并防止碰撞。该奖励包含两个组件：一个随着 USV 接近周围障碍物而增加的基于近距离的惩罚，以及一个在发生碰撞时施加固定负奖励的碰撞惩罚。(9)????=??3?1∑????=1∥??????????∥2+??4?{?600,??????????????????????0,????????，其中 k3 和 k4 是系数因子。当 USV 成功到达目标点时，给予大量的目标奖励 ????=1000。最后，综合奖励函数表示如下：(10)????1=??1?????+??2?????+??3?????+??4?????，其中 ci 表示每个奖励组件的权重系数。在该奖励函数的引导下，USV 可以高效地学习最优控制策略，使其能够规划节能且无碰撞的导航路径。对于路径规划任务，根据导航可行性、安全性和路线效率的优先级调整了奖励系数。目标完成和避障被赋予主导权重，以确保 USV 首先学习到达目的地同时避开障碍物和风险区域。随后调整距离进展和步数惩罚，以鼓励更短和更直接的路径，而环境利用获得较小的权重，以便在不影响主要安全目标的情况下利用有利的洋流和风向。

3.2.3. 路径跟踪配置
在路径跟踪任务中，优化目标是在复杂环境干扰下以最小偏差跟踪参考路径。相应地，状态空间定义如下：(11)????=[????????,????,????]，其中 sUSV 是 USV 的运动参数，包括位置坐标 (x, y)、航向角 ψ 和 USV 速度 UUSV。IP 表示环境信息。se 表示跟踪误差，包括航向误差 ex、横航向误差 ey 和航向角误差 eψ。根据视线（LOS）引导律，跟踪误差可以计算为：(12)?? ? ???????????????? ? ??=?? ??(????????(??))?cos?????+(????????(??))?sin??????(????????(??))?sin?????+(????????(??))?cos???????????????? ??，其中 ?????(??)=atan2?(???(??),???(??)) 是偏航角。路径跟踪任务中的奖励函数包括误差奖励、系统稳定性奖励和终端奖励，描述如下：误差奖励 rE 表示对位置和航向角跟踪误差的惩罚，以确保整体跟踪精度，表示为：(13)????=?(??1?|?????|+???2|??????|+???3?|????|)，其中 l1, l2 和 l3 是对应于不同跟踪误差的比例参数。USV 在路径跟踪中的位置误差和航向误差越大，USV 遭受的惩罚就越大。系统稳定性奖励 rC 用于维持 USV 速度和航向变化在相邻时间步上的连续性和平滑性。(14)????=?|?????′|?|???????????′??????|。这种设置不仅符合 USV 的动力学约束，还提高了路径跟踪精度。此外，终端奖励 rT 用于鼓励 USV 完成路径跟踪任务。(15)????={600,???????????????????2000,??????????????????。因此，USV 路径跟踪的总奖励函数可以表示为：(16)????2=??1?????+??2?????+??3?????，其中 λi 表示分配给各自奖励项的权重系数。在该奖励结构的引导下，USV 可以学习有效的策略，使其能够既快速又准确地进行路径跟踪。对于路径跟踪任务，根据跟踪精度和控制平滑性的优先级调整了奖励系数。跟踪误差项作为主要的稠密奖励，更加强调横航向和航向误差，因为它们直接影响轨迹偏差和方向一致性。稳定性奖励获得适中的权重以惩罚速度和航向的突然变化，而终端奖励主要指示任务完成。这种设计防止了过度依赖终端反馈，并促进了整个轨迹上的稳定准确跟踪。注意，上述任务的状态空间和动作空间中的所有变量都通过归一化进行了标准化，确保模型网络的输入具有一致的尺度。这种预处理步骤不仅减轻了系统噪声的影响，还增强了训练期间模型参数更新的稳定性。

4. 用于 USV 多任务控制的具有分类优先经验回放的分布式 TD3 算法
本节提出了用于 USV 路径规划和路径跟踪的 DTD3-CPER 框架。该框架通过共享的分布式训练结构和统一的经验回放机制协调导航决策。我们首先介绍分布式训练策略和 TD3 算法，然后提出 CPER 以提高海洋数据辅助的 USV 导航中的样本利用率和训练稳定性。

4.1. 具有分布式训练的任务感知共享 DTD3-CPER 框架
为了解决传统分离规划和控制方法的局限性，本研究提出了一种用于 USV 导航的任务感知共享 DTD3-CPER 框架。该框架通过共同的分布式训练和经验管理架构协调路径规划和路径跟踪，同时保持其特定任务的决策目标。所提出方法的总体架构如图 3 所示。
下载：下载高分辨率图像 (966KB)
下载：下载全尺寸图像
图 3. 用于 USV 多任务控制的具有分类优先经验回放的分布式 TD3 算法结构。
为了提供数据驱动的训练环境，本研究构建了一个包含洋流、风和网格化障碍物的环境数据的海洋仿真模型。DRL 智能体使用异步多进程分布式训练机制进行训练，以提高任务感知导航场景下的经验收集效率。在该架构中，一个中央控制器（称为 Leader）和多个工作者共享相同的神经网络结构，但执行不同的功能。Leader 在 GPU 上训练，使用任务标记的经验更新全局策略，并通过双工通信协调工作者。每个工作者在独立的 CPU 内核上运行，异步与其分配的海洋仿真环境交互，并收集带有任务标识符 Li 的经验转移。这些转移存储在多任务回放缓冲区中，允许在共同的学习系统内管理规划相关和跟踪相关的经验。
为了提高采样效率并减少经验相关性，引入了一种分类优先经验回放（CPER）机制。回放缓冲区组织为三个分类子缓冲区：正面、负面和中立。这种结构允许根据结果类别和时间差分（TD）误差来采样经验，以便信息丰富的成功转移和安全关键的失败转移可以被更有效地重用。在训练过程中，Leader 定期从分类缓冲区采样小批量数据，并使用标准的 TD3 技术更新演员 - 评论家网络，包括双评论家、延迟策略更新和目标策略平滑。每个工作者异步从 Leader 请求最新的网络参数，并刷新其本地策略以继续与分配仿真环境交互。该迭代过程持续进行，直到训练性能达到预定义的收敛标准。
通过结合进程池和基于管道的双工通信与提出的 CPER 机制，训练架构支持并行经验收集、异步参数同步和优先回放。这种设计提高了样本利用率和训练稳定性，从而帮助学习的策略在测试的海洋仿真设置下实现更可靠的导航性能。

4.2. TD3 算法的理论基础
尽管 DRL 在不确定性下的序列决策中表现出相当大的潜力，但它仍然容易受到实际挑战的影响，如高估偏差、过拟合和不稳定的策略更新。这些问题通常源于值函数学习中固有的采样误差、估计方差和近似偏差。为了解决这些局限性，本研究采用了一种改进的 TD3 框架，以实现 USV 的鲁棒和高效运动控制。

4.2.1. 双评论家网络结构
基于演员 - 评论家框架，智能体包含两个独立的评论家网络 ????1 和 ????2（分别由 θ1 和 θ2 参数化），以及一个演员网络 πμ（由 μ 参数化）。每个网络都关联一个相应的目标网络：????′1, ????′2, 和 ????′。评论家和演员网络的结构设计如图 4 所示。演员网络根据输入状态选择确定性动作，而评论家网络评估所选动作并提供梯度信息以指导策略优化。为了缓解 Q 值高估，两个评论家网络计算单独的 Q 估计，并使用这些估计的最小值来推导目标 Q 值，公式如下：(17)????=???(????,????)+???min??=1,2??????????(????+1,????′?(????+1))
下载：下载高分辨率图像 (471KB)
下载：下载全尺寸图像
图 4. 评论家和演员网络的结构。
评论家网络的损失函数定义为目标 Q 值与网络预测 Q 值之间的均方误差（MSE），表示为：(18)??(????)=12??????[(????????????(????,????))?2],??=1,2.，其中 ?????(·) 是数学期望。评论家网络通过梯度下降最小化损失函数进行迭代更新，公式如下：(19)????????(????)=?????[(???????(????,????)?????)?????????????(????,????)],??=1,2. (20)????←?????????·????????(????)，其中 αQ 表示学习率，且 ????????(????) 表示损失函数相对于评论家网络参数 θi 的梯度。

4.2.2. 控制策略学习
对于演员网络，目标函数关于网络参数 μ 的策略梯度是从 Q 值函数关于策略定义的动作分布的期望梯度中推导出来的。该梯度公式如下：(21)???????(??)≈?????[???????(??,??;??)|??=???(??;??)·???????(??;??)]。演员网络通过梯度上升迭代更新，以最大化期望累积奖励，公式如下：(22)??←??+????·???????(??)，其中 αμ 是演员网络的学习率，且 ?μJ(μ) 表示相对于演员参数 μ 的策略梯度。

4.2.3. 延迟策略更新与软目标网络更新
评论家网络指导演员的策略更新，而目标网络在整个训练过程中提供稳定的学习目标。为了减少误差传播并增强更新稳定性，我们采用了一种延迟策略更新策略，其中策略网络比值网络更新的频率更低。这种方法通过允许评论家在指导演员更新之前稳定下来，提高了策略质量和训练鲁棒性。此外，对目标网络参数应用软更新，以确保及时且稳定的收敛，公式如下：(23)??′??←(1???)???′??+??????? (24)??′←(1???)???′+?????，其中 ρ 是目标网络的软更新系数。

4.2.4. 策略平滑正则化
为了减轻由高估偏差引起的过拟合并促进更稳定的策略更新，我们将裁剪高斯噪声纳入输出动作中，作为一种策略平滑正则化的形式。这项技术最初在 TD3 框架中引入，通过惩罚导致 Q 函数出现尖锐峰值的动作来帮助平滑值估计。平滑后的动作公式如下：(25)?????+1=????′?(????+1)+??,??～clip?(???(0,??2),???,??)，其中 ξ 表示标准高斯噪声，σ 表示噪声的标准差，?? 表示标准正态分布，c 是用于裁剪噪声的边界。

4.3. 分类优先经验回放
传统的经验回放在单个回放缓冲区中存储转移数据，通常在不明确区分其与任务相关的重要性的情况下采样经验。

因此，信息性转移（如成功的导航经验或安全关键失败案例）在策略更新期间可能得不到充分复用，这会降低样本效率。为了提高 TD3 训练中的经验利用率，本研究引入了一种类别优先经验回放 (CPER) 机制。如图 5 所示，CPER 根据每个转移的奖励反馈和任务结果，将回放缓冲区分为三类：正经验、负经验和中性经验。然后在类别回放结构内应用基于优先级的采样，使得具有较高学习价值的转移被更频繁地选中。通过这种方式，CPER 有助于平衡成功经验和失败相关经验的复用，从而提高样本效率和训练稳定性。
下载：下载高分辨率图像 (456KB) 下载：下载全尺寸图像
图 5. CPER 机制的框架和数据流。

在训练的后期阶段，经验缓冲区往往积累大量正经验，这可能会降低智能体对风险的适应性和韧性。为了解决这个问题，我们首先根据任务标签 Lk 对经验缓冲区 ???(????,????,????+1,????,????) 进行分区。然后，在每个特定任务的子缓冲区中，根据奖励值将经验进一步分为三个部分：
(26)
?
?
?
?
?
?
?
??pos?(????,????,????+1,??pos??,????),??pos??∈[+???,+∞)
??neu?(????,????,????+1,??neu??,????),??neu??∈[?????,+???)
??neg?(????,????,????+1,??neg??,????),??neg??∈(?∞,?????)
其中 Dpos、Dneu 和 Dneg 分别表示正经验、中性经验和负经验部分。参数 Cl 和 Ch 代表用于根据奖励值定义经验分类阈值的低边界和高边界系数。

此外，正经验、中性经验和负经验之间的采样分配旨在策略更新期间平衡不同类型的学习信息。正经验提供成功的导航行为并帮助强化可行决策；负经验包含碰撞、失败或安全关键转移，有助于风险感知策略改进；中性经验保持探索多样性，防止回放过程仅关注极端结果。因此，采样规则旨在避免任何单一经验类别占主导地位，并维持成功、失败相关和探索转移的平衡使用。

因此，三个经验类别的样本大小定义如下：
(27)
?
?
?
?
?
?
?
??pos=??neg+??neu2???sum·??size,
??neu=??pos+??neg2???sum·??size,
??neg=??pos+??neu2???sum·??size,
其中 Spos、Sneu 和 Sneg 分别表示从正经验、中性经验和负经验缓冲区中提取的样本数量。Npos、Nneu 和 Nneg 代表每个类别中存储的经验数量，Nsum 是回放缓冲区中的经验总数，Bsize 是小批量大小。这种分配给予代表性不足的类别相对更多的采样机会，从而减少类别不平衡，提高信息丰富但不频繁经验的复用率。

此外，在每个任务 Lk 中，根据时序差分 (TD) 误差为单个经验分配采样优先级。缓冲区 D 中对应于任务 Lk 的经验 j 的采样概率定义如下：
(28)????,??=??????,??∑????,??∈????????,??
其中 ????,??=|????,??|+??，且 δj,k 表示任务 Lk 中经验 j 相关的时序差分 (TD) 误差。参数 χ ∈ [0, 1] 是控制优先级程度的优先级权重指数，而 ? 是一个引入的小正常数，以确保即使 TD 误差可忽略不计，每个转移也保留非零的采样概率。

为了保持样本多样性并减轻优先经验回放中非均匀采样引入的偏差，采用了重要采样权重。这些权重计算如下：
(29)????=1(???????,??)????max??????????
其中 ?? 是回放缓冲区的内存大小，ω (0 ≤ ω ≤ 1) 是指数超参数。

因此，重要采样权重 wj 被纳入价值网络的损失函数中，损失函数相应地重新表述如下：
(30)??(????)=?????[????·(????????????(????,????))?2]
最后，算法 1 详细描述了所提出的用于 USV 运动控制决策的 DTD3-CPER 算法的实现。
下载：下载高分辨率图像 (184KB) 下载：下载全尺寸图像
算法 1. 基于 DTD3-CPER 算法的 USV 运动控制器。

5. 实验与结果
本节介绍实验配置，并引入几种用于不同 USV 控制任务的基准方法。随后进行路径规划和路径跟踪任务的比较实验。通过与常规 DRL 算法和传统基准方法的比较评估，验证了所提出的 DTD3-CPER 算法的有效性。此外，通过在多样化复杂场景中进行的扩展实验，评估了其适应性和鲁棒性。

5.1. 实验设置
本节描述了用于评估所提出的 DTD3-CPER 算法的实验设置。选择南海指定区域作为目标海洋环境。为了建立高保真模拟设置，从 ECMWF 获取高分辨率洋流和风数据。多种海洋环境因素被集成到一个统一的环境扰动矢量场中。此外，随机生成复杂障碍物布局，将海洋环境划分为高风险和低风险区域。研究区域被离散化为均匀网格，环境数据和地理信息使用反距离加权方法空间插值到网格结构中。

实验平台运行在 Ubuntu 20.04 上，配备 AMD Ryzen 2950X CPU、16 GB 内存和 NVIDIA RTX 3090 GPU。海洋环境和 USV 动力学使用 Gymnasium (v0.26) 框架在 Python 3.7 中模拟。USV 配备模拟传感器，提供实时环境数据和运动状态，实现导航过程的实时可视化和监控。USV 的速度限制在 [0, 3] m/s 范围内，航向角限制在 [???,??] rad，控制决策间隔设置为 1 s。在每个实验中，DRL 智能体训练 10,000 个回合，每回合最多 200 个探索步骤。所有比较的 DRL 算法在整个实验过程中共享相同的超参数设置，以确保公平比较。相关的模拟参数及其值总结在表 2 中。

表 2. 实验参数设置。
参数 | 值
--- | ---
折扣因子 γ | 0.99
Actor 网络学习率 αμ | 0.005
Critic 网络学习率 αQ | 0.008
软更新系数 ρ | 0.001
批量大小 Bsize | 128
回放缓冲区容量 D | 100000
最大训练回合 Tepisode | 10000
最大时间步 Nstep | 200
终止权重系数 k1, k2, k3, k4 | -0.6, -0.2, -0.8, 1
奖励权重系数 1 c1, c2, c3, c4 | 0.78, 0.6, 1, 1
误差权重系数 l1, l2, l3 | 0.5, 0.5, 0.3
奖励权重系数 2 λ1, λ2, λ3 | 0.9, 0.6, 1

5.2. 不同任务的基准和评估指标
为了全面评估所提出的 DTD3-CPER 算法的性能，引入了几种基准控制策略进行比较。包括 DDPG 和 TD3 在内的经典深度强化学习方法被用于评估所提出算法的稳定性和有效性。此外，针对不同控制场景采用了特定任务的基线方法。对于路径规划和避障任务，将所提出的算法与两种广泛使用的规划器 A* 和 RRT* 进行比较，评估指标包括路径长度、步骤数和交互时间。对于路径跟踪任务，选择比例 - 积分 - 微分 (PID) 控制和 NMPC 作为基线，跟踪误差作为主要评估指标。每种基准方法的简要介绍如下：

1) DDPG 和 TD3：这些传统的基于策略梯度的 DRL 算法利用神经网络近似连续控制的策略和价值函数。DDPG 和 TD3 的标准实现作为 USV 运动控制的基线。为了确保公平比较，状态和动作定义、Actor-Critic 网络架构以及所有超参数均保持与所提出算法中使用的相同。
2) A* 和 RRT*：A* 使用八连通网格搜索和欧几里得启发式方法，而 RRT* 通过父节点选择和本地重连来改进采样路径。对于这两种方法，局部洋流和风场矢量被纳入遍历或边成本中，奖励与有利扰动一致的运动，惩罚对抗它们的运动。RRT* 使用 5000 个样本，步长为 0.2 地图单位，重连半径为 0.5 地图单位，目标偏差为 0.1。
3) PID 和 NMPC：它们被选为代表性的传统控制基线。对于 PID，分别使用控制器进行速度和航向调节。速度控制增益设置为 ??????=0.80, ??????=0.05 和 ??????=0.15，而航向控制增益设置为 ??????=1.20, ??????=0.02 和 ??????=0.25。这些参数通过初步调整确定，并在所有比较实验中固定。对于 NMPC，采样间隔设置为 1 s，预测视界为 ????=10，控制视界为 ????=3。状态和控制加权矩阵分别设置为 ??=diag?(10,10,5) 和 ??=diag?(0.1,0.1)。速度指令限制在 [0, 3] m/s 内，每次控制步骤的航向调整限制在 [?15°,15°] 内。

评估指标定义如下：
1) 路径长度和步骤：在路径规划任务中，步骤数和总路径长度反映了从起点安全导航到目的地所需的时间。步骤表示 USV 与环境之间的单次交互。较小的步骤数和较短的路径长度被视为测试扰动场下的路线效率代理，反映了更短的行驶距离和更少的决策步骤。
2) 跟踪误差：跟踪误差衡量实际导航路径与参考路径之间的偏差，是导航准确性和安全性的关键指标。横航误差、沿航误差和航向角误差分别反映横向、纵向和角度偏差。位置误差定义为 USV 实际位置与参考路径上相应目标点之间的欧几里得距离，提供了整体跟踪偏差的综合衡量。
3) 碰撞率：碰撞率作为特定合成障碍物布局和 risk 区域编码条件下基于模拟的安全代理报告。它反映了受控模拟环境中与障碍物碰撞或进入禁止单元的频率。

5.3. 路径规划实验
为了评估不同规划方法生成路径的质量，我们将所提出的 DTD3-CPER 算法与几个基线（包括通用 DRL 算法 (DDPG 和 TD3) 和传统规划器 (A* 和 RRT*)）的路径规划性能进行比较。评估重点关注规划路径的安全性、效率、平滑性和实时适用性等关键性能方面。

5.3.1. 与 DDPG 和 TD3 的比较
为了验证所提出的 DTD3-CPER 算法在学习稳定性和导航安全性方面的有效性，我们在相同的模拟框架下与主流 DRL 基线进行了比较分析。这些实验中使用的动态海洋环境详见第 3 节。考虑到研究区域的特定地理和水文特征，我们策略性地定义了多个起点 - 终点对，如表 3 总结所示。这些对对应于八个不同的规划任务，在方向和距离上有所不同，确保实验评估具有代表性且统计鲁棒。

表 3. 不同起点 - 终点路径的性能比较。
起点 | 终点 | DTD3-CPER | TD3 | DDPG | A* | RRT*
--- | --- | --- | --- | --- | --- | ---
(x, y) | (x, y) | L (米) | S | L (米) | S | L (米) | S | L (米) | S | L (米) | S
(20, 90) | (65, 15) | 92.6 | 59 | 98.9 | 62 | 103.1 | 68 | 95.2 | 61 | 108.3 | 70
(10, 30) | (90, 90) | 101.7 | 62 | 104.3 | 64 | 107.6 | 65 | 103.5 | 73 | 109.3 | 71
(10, 35) | (85, 10) | 84.3 | 53 | 85.6 | 55 | 91.3 | 57 | 85.4 | 58 | 92.7 | 60
(65, 90) | (75, 10) | 88.0 | 56 | 91.2 | 60 | 118.6 | 76 | 92.5 | 59 | 89.2 | 58
(10, 30) | (90, 40) | 83.1 | 50 | 85.8 | 56 | 92.9 | 58 | 84.5 | 57 | 88.5 | 58
(30, 10) | (90, 90) | 106.2 | 65 | 110.1 | 69 | 119.4 | 75 | 108.7 | 72 | 115.2 | 74
(60, 10) | (60, 90) | 83.7 | 51 | 86.5 | 54 | 94.2 | 60 | 85.6 | 56 | 90.3 | 59
(10, 80) | (90, 40) | 105.4 | 57 | 109.0 | 61 | 117.6 | 67 | 107.9 | 64 | 114.1 | 66

注：L 表示路径长度，S 表示步骤。

平均累积奖励的学习曲线如图 6 所示。为了确保统计可靠性，所有曲线代表五个不同随机种子初始化的独立训练运行的平均值。在图中，实线表示平均值，而阴影区域表示五次试验之间的标准差。较高的平均累积奖励表示优异的运动控制性能，而较窄的标准差反映了更大的算法稳定性和鲁棒性。
下载：下载高分辨率图像 (314KB) 下载：下载全尺寸图像
图 6. 路径规划实验中各种算法的学习曲线。

为了提高性能比较的可靠性，每个算法都在多个独立随机种子下训练，并使用平均值和标准差报告学习结果。如图 6 所示，DTD3-CPER、TD3 和 DDPG 的学习曲线在达到各自平台期之前都显示出渐进的上升趋势，而阴影区域表明不同运行之间的变化。DTD3-CPER 在大约 1200 个回合后收敛到稳定策略，而 TD3 和 DDPG 需要大约 2000 个回合才能稳定。此外，DTD3-CPER 实现了最高的平均累积奖励，并在后期训练阶段表现出较小的波动，表明收敛更快且训练稳定性更好。为了进一步检查观察到的性能差异是否在独立运行中保持一致，对最终阶段奖励进行了统计显著性测试。最终阶段奖励计算为每个随机种子最后训练回合的平均奖励。测试结果证实，在测试的模拟设置下，DTD3-CPER 相比主要基准方法实现了统计显著的提升。这表明 DTD3-CPER 的性能优势不是由单次有利的训练运行引起的，而是在多次独立试验中一致观察到的。

DDPG 将 DQN 框架扩展到了连续动作空间，但可能遭受高估偏差的影响，从而影响策略稳定性。TD3 通过双评论家架构缓解了这一问题，因此比 DDPG 具有更好的收敛性。然而，标准 TD3 在处理复杂海洋扰动和安全相关经验复用方面能力仍然有限。通过引入分布式训练和 CPER 机制，DTD3-CPER 提高了样本效率，增强了对具有信息量的成功经验和安全关键经验的复用，并在动态流和风扰动下实现了更稳定的导航性能。此外，提出的异步多进程分布式训练框架显著加速了 DRL 算法的优化。在这种架构中，多个并行工作进程独立与环境交互，并将生成的转移数据存储在本地或特定任务的回放缓冲区中。中央学习者从这些缓冲区中采样以更新全局网络参数，随后在所有工作进程中同步。通过并行数据生成和异步通信，这种设计不仅提高了采样效率并有效地去相关经验数据，还大大加快了整体收敛过程。因此，DTD3-CPER 表现出最快的收敛率，并在所有对比方法中持续获得最高的奖励。此外，独立运行中奖励的低标准差证明了 DTD3-CPER 具有卓越的稳定性和鲁棒性。这些属性共同为复杂、大规模海洋环境中的安全、高效和可靠的 USV 路径规划奠定了坚实的基础。表 3 总结了在八个不同规划任务中的性能，任务范围从复杂的避障和狭窄通道穿越到长距离导航。基于路径步数和总路径长度的定量评估显示，提出的 DTD3-CPER 持续优于最先进的基准方法。为了提供定性评估，图 7 可视化了四个代表性场景的生成路径：(20, 90) 到 (65, 15)、(10, 30) 到 (90, 90)、(10, 35) 到 (85, 10) 以及 (10, 30) 到 (90, 40)。可视化表明，DTD3-CPER 生成的路径表现出更优的平滑度和运动学可行性。更重要的是，该算法展示了智能的环境适应性：它不仅仅是将流和风视为需要拒绝的扰动，而是主动利用这些水动力来辅助导航。这种策略与 DDPG 和 TD3 产生的刚性路径相比，显著降低了能耗和航行时间。这些发现有力地验证了所提框架在动态海洋环境中实现安全、高效和能量感知运动控制的有效性。

下载：下载高分辨率图片 (2MB)
下载：下载完整尺寸图片
图 7. DTD3-CPER、TD3、DDPG、A* 和 RRT* 在不同起点和终点下的规划路径。

5.3.2. 与 A* 和 RRT* 的比较
本研究通过将所提框架与标准基于几何的规划器（具体为 A* 和 RRT*）进行比较，扩展了验证。表 3 中呈现的定量结果表明，DTD3-CPER 取得了明显的优势，在所有场景中一致生成最短路径。图 7 提供了关键的定性比较。可以观察到，虽然 A* 和 RRT* 生成的路径在几何上是有效的，但它们通常忽视环境力，而 DTD3-CPER 生成的路径则是动态自适应的。DRL 智能体通过利用环境信息隐含地优化能效，同时确保鲁棒的避障。这种生成节能、平滑且安全路径的能力证实了该算法在处理真实世界海洋导航复杂性方面优于传统规划器。路径平滑度是衡量路径质量的另一个关键指标，直接影响执行的可行性。如图 7 所示，与 A* 和 RRT* 生成的路径相比，DTD3-CPER 生成的路径表现出更优的平滑度。相比之下，这些传统方法推导出的路径通常包含尖锐的拐点或连续节点之间的不规则不连续性。这种几何不规则性对底层控制器施加了过度的需求，可能导致执行器饱和和跟踪保真度下降。这些结果证实，DTD3-CPER 不仅在路径长度和避障等优化指标上表现出色，而且生成的运动学可行路径天生更适合 USV 的实时导航。

如表 4 所示，我们从成功率、导航安全性、算法复杂度和推理时间等方面对各种算法进行了全面的定量评估。在实际海洋应用中，可靠性至关重要。所提的 DTD3-CPER 在八个规划任务中实现了 100% 的无碰撞率和超过 95% 的成功率，而基准算法表现出较低的成功率和不确定的安全状况。这种优越性归功于明确引入了地理约束，确保导航严格在可航区内进行。

表 4. 各种算法的规划性能比较。
| 算法 | 碰撞率 (%) | 成功率 (%) | 复杂度 | 推理时间 (毫秒) |
| :--- | :--- | :--- | :--- | :--- |
| DTD3-CPER | 0.0 | 100.0 | 36.6K | 25.4 |
| TD3 | 4.2 | 93.0 | 36.6K | 25.4 |
| DDPG | 11.5 | 86.5 | 36.6K | 25.4 |
| A* | 0.0 | 100.0 | O(Nlog N) | 120.5 |
| RRT* | 16.8 | 92.3 | O(N2) | 215.4 |

考虑到实时决策的要求，我们进一步分析了计算效率。A* 算法的时间复杂度为 O(Nlog N)（其中 N 是节点数量），它随地图大小缩放。RRT* 的时间复杂度为 O(N2)，可能需要大量样本才能找到可行路径，导致计算增加。对于提出的 DRL 框架，我们使用 FLOPs 报告模型复杂度。策略网络需要 36.6K FLOPs，表明网络结构轻量级。在实际推理时间方面，DTD3-CPER 在我们的硬件设置下每个决策步骤大约需要 20-30 毫秒。在相同的问题规模和实现下，A* 和 RRT* 分别需要 120.5 毫秒和 215.4 毫秒。在动态环境中，传统规划器的计算成本很大程度上取决于所需的重规划频率。在静态或缓慢变化的设置中，不频繁的重规划摊销了它们的每次调用成本。然而，我们的海洋环境具有空间和时间变化的流和风，低频重规划会导致路径过时、效率降低或碰撞风险增加。因此，传统方法也需要高频重规划以保持安全导航，使它们的每步运行时间成为实际瓶颈。相比之下，学习的 DRL 策略执行直接的动作推理，无需重复搜索或树扩展，在动态条件下的在线每步适应方面具有明显优势。

图 8 展示了一个雷达图，将提出的 DTD3-CPER 算法与几种基准方法（包括 TD3、DDPG、A* 和 RRT*）的综合性能指标进行比较。所有指标都归一化到 0 到 5 的刻度，其中覆盖面积越大表示整体性能越好。所提框架表现出平衡和稳健的能力，特别是在平滑度、能效和实时响应方面具有优势。

下载：下载高分辨率图片 (203KB)
下载：下载完整尺寸图片
图 8. 不同算法导航性能指标的雷达图比较。

总体而言，实验结果证明了所提 DTD3-CPER 算法相比于现有方法的优越有效性。主要优势总结如下：(1) DTD3-CPER 生成的路径天然满足 USV 的动态约束，导致高平滑度和优秀的避障性能。(2) 通过明确纳入地形变化，DTD3-CPER 确保规划路径保持在安全可航区内，从而增强操作安全性。(3) 该算法主动利用环境信息辅助导航，显著降低了能耗。(4) 由于其低计算足迹和快速推理，DTD3-CPER 提供实时规划能力，能够及时有效地响应动态海洋事件。因此，提出的 DTD3-CPER 算法在 USV 路径规划中表现出卓越的性能，在安全性、效率、平滑度和实时适用性方面优于传统方法。

5.4. 路径跟踪实验
为了验证所提 DTD3-CPER 算法的有效性和优越性，我们将其路径跟踪性能与通用 DRL 算法（DDPG 和 TD3）和基于模型的控制器（PID 和 NMPC）进行了比较。随后，进行了具有新路径配置的泛化实验，以评估所提方法的鲁棒性。最后，在不同环境扰动下进行了大规模比较实验，以展示 DTD3-CPER 在复杂海洋条件下的适应性。

5.4.1. 与 DDPG 和 TD3 的比较
设计了一条具有挑战性的曲线路径以反映 USV 的运动学特性，其曲率随时间动态变化。该路径代表了现实的海洋导航场景，通常用于评估复杂环境中 USV 的导航和避障性能。此外，动态且综合的海洋环境模型引入了时变环境扰动，进一步增加了 USV 路径跟踪任务的难度。为了验证所提 DTD3-CPER 算法在 USV 路径跟踪的学习稳定性和高精度跟踪控制方面的有效性，每种算法都在相同的模拟设置下使用多个独立随机种子进行训练。对比算法的累积平均奖励曲线和跟踪性能曲线分别显示在图 9 和图 10 中，其中曲线报告了平均结果，阴影区域表示不同运行之间的标准差。总体而言，在测试的模拟条件下，DTD3-CPER 比 DDPG 和 TD3 实现了更快的收敛、更好的学习稳定性和更高的跟踪精度。如图 9 所示，DTD3-CPER 在大约 1400 个训练回合后达到稳定奖励水平，而 TD3 和 DDPG 需要大约 2500 个回合才能收敛。此外，DTD3-CPER 获得了更高的最终阶段平均奖励，并在后期训练阶段表现出较小的波动。对多个随机种子获得的最终阶段奖励进行了统计显著性测试。结果确认，在测试的模拟设置下，DTD3-CPER 相对于主要基准方法的改进具有统计显著性，表明其性能优势在独立运行中持续存在。

下载：下载高分辨率图片 (296KB)
下载：下载完整尺寸图片
图 9. 路径跟踪实验中各种算法的学习曲线。

下载：下载高分辨率图片 (366KB)
下载：下载完整尺寸图片
图 10. DTD3-CPER、TD3 和 DDPG 的路径跟踪性能比较。

此外，图 9 显示 DTD3-CPER 比 TD3 和 DDPG 保持了更低的跟踪误差和更稳定的误差变化。TD3 的奖励和误差曲线在训练过程中仍然表现出明显的波动，而 DDPG 显示出较大的变化和较弱的收敛稳定性。这些结果表明，异步多进程训练架构和 CPER 机制提高了样本利用率，并增强了对具有信息量的跟踪经验的复用，使 DTD3-CPER 能够在时变流和风扰动下学习更稳定的路径跟踪策略。图 11 显示了 DTD3-CPER 算法在路径跟踪期间的航向角输出。平滑的红曲线展示了优秀的连续性，没有突然的振荡，表明控制命令平滑且动态可行。航向角在 -2.0 rad 到 2.0 rad 之间变化，反映了曲线路径的需求。DTD3-CPER 有效地响应曲率变化同时保持稳定性，即使在高曲率段也是如此。这些结果直观地证实，该算法在尊重 USV 运动学约束的同时实现了高精度跟踪，有助于复杂海洋环境中的安全自主导航。

下载：下载高分辨率图片 (270KB)
下载：下载完整尺寸图片
图 11. DTD3-CPER 算法的航向角输出。

为了清晰地说明每种算法的跟踪性能，跟踪误差在图 12 中进行了可视化。DTD3-CPER 产生的横向误差、纵向误差和航向误差均小于 DDPG 和 TD3，甚至在跟踪尖锐、高曲率参考路径时也保持明显优势。相比之下，TD3 和 DDPG 在跟随挑战性轨迹时表现出大得多的误差。

下载：下载高分辨率图片 (1MB)
下载：下载完整尺寸图片
图 12. DTD3-CPER、TD3、DDPG、NMPC 和 PID 在一次路径跟踪回合中获得的跟踪误差。

总之，提出的 DTD3-CPER 算法能够迅速学习稳定的控制策略，有效补偿流和风等环境扰动。与其他 DRL 方法相比，它在参考路径上实现了近乎完美的跟踪精度。

5.4.2. 与 PID 和 NMPC 的比较
为了进一步验证所提 DTD3-CPER 算法在 USV 高精度路径跟踪方面的优势，我们将其性能与常规 PID 和 NMPC 控制器在参考路径上的性能进行了比较。如图 13 所示，PID 和 NMPC 都能大致跟随参考路径。然而，DTD3-CPER 算法在路径准确性和平滑度方面明显优于它们。这种优势源于 DRL 框架中使用的深度神经网络强大的学习和泛化能力。

下载：下载高分辨率图片 (389KB)
下载：下载完整尺寸图片
图 13. DTD3-CPER、NMPC 和 PID 的路径跟踪性能比较。

图 13 表明，与 PID 和 NMPC 控制相比，DTD3-CPER 在位置坐标上实现了更快的收敛和显著更小的跟踪误差。此外，DTD3-CPER 生成的路径明显更平滑，这更好地满足了 USV 的动态约束，更适合实际部署。尽管通过多次模拟试验对 PID 和 NMPC 参数进行了广泛调整，其性能仍然不理想，无法满足所需的精度。这种局限性是因为 PID 控制是一种基于模型的线性方法，主要依赖于系统准确的动力学模型。

在复杂海洋环境中，由于存在强非线性、时变扰动以及未建模的水动力效应，获取精确可靠的 USV 动力学模型具有挑战性。同样，NMPC 依赖于精确的系统动力学模型，而在实际条件下很难获得。因此，PID 控制器对动态变化的海洋条件和 USV 非线性动力学表现出较差的适应性，而无模型的 DTD3-CPER 算法直接从交互数据中学习，能够在环境不确定性下实现鲁棒且自适应的跟踪。

5.4.3. DTD3-CPER 扩展至新路径

为了评估所提出的 DTD3-CPER 算法的泛化能力，我们进一步测试了其在一条代表水面和水下无人平台典型海洋数据收集任务的新路径上的性能。为了增强真实性，实验在真实环境扰动下进行。

如所示图 14 的仿真结果所示，所提出的 DTD3-CPER 算法在存在环境扰动的情况下保持了优异的性能，在跟踪精度方面始终优于 DDPG、TD3、PID 和 NMPC。相比之下，所有基线方法在整个路径上都表现出明显较大的跟踪误差。此外，DTD3-CPER 即使在高曲率段也能生成更平滑、更渐进的转向动作，从而产生较小的航向误差并在可调的误差容限半径内及时校正。

下载：下载高清图像 (563KB)
下载：下载全尺寸图像
图 14. DTD3-CPER、TD3、DDPG、NMPC 和 PID 的圆路径跟随性能比较。

总体而言，所提出的 DTD3-CPER 算法表现出快速有效补偿环境扰动的能力。相比之下，USV 的非线性动力学结合复杂的海洋条件对基于模型的 PID 和 NMPC 控制构成了巨大挑战，导致它们无法在这些场景下取得令人满意的效果。

5.4.4. 环境扰动适应实验

环境扰动的复杂性和动态性显著影响控制算法的性能。大多数现有路径跟随研究是在静态环境中进行的，这不仅忽略了时变扰动的影响，也偏离了真实的海洋作业条件。当海况恶化时，环境扰动的幅度相应增加，可能导致 USV 严重偏离预定路径。

为了定量评估不同扰动幅度对算法性能的影响，我们设计了以下对比实验：DTD3-CPER、TD3 和 DDPG 在真实记录的环境扰动下训练，然后在由原始扰动缩放生成的额外十一个扰动水平下测试。对于 PID 和 NMPC 控制器，环境扰动直接叠加到 USV 的输出速度上。为了全面评估扰动引起的路径偏离程度，采用位置误差作为主要评估指标。

结果总结在图 15 中。总体而言，所提出的 DTD3-CPER 算法在所有测试的扰动水平下均优于 DDPG、TD3、PID 和 NMPC。在不同扰动幅度下，DTD3-CPER 的位置误差始终低于其他算法。随着扰动幅度的增加，位置误差通常会上升，呈现出与理论预期一致的趋势。重要的是，DTD3-CPER 的误差增加率显著较低，显示出其对不断升级的环境挑战具有增强的鲁棒性。

下载：下载高清图像 (356KB)
下载：下载全尺寸图像
图 15. 随着环境扰动幅度从 0 增加到 3.0，DTD3-CPER、TD3、DDPG、NMPC 和 PID 方法的累积位置误差变化。

这些发现表明，DTD3-CPER 算法表现出对复杂海洋环境的强适应性，能有效处理广泛范围的扰动幅度，并快速学习有效的运动控制策略。因此，DTD3-CPER 不仅减轻了由动态扰动引起的环境不确定性，还产生了一个可以可靠泛化到未见环境条件的训练模型。

5.4.5. 跨区域泛化评估

为了进一步评估所提出的 DTD3-CPER 算法在路径跟随任务中的跨区域泛化能力，在未见的海洋区域进行了额外实验。路径跟随策略仅在原始南海区域训练，并直接在三个留置区域进行测试，无需进一步微调。这三个留置区域包括另一个南海区域 (115.5°E–117.0°E, 18.5°N–20.0°N)、东海区域 I (125°E–126°E, 29°N–30°N) 和东海区域 II (126°E–127°E, 30°N–31°N)。这些留置区域包含与训练区域不同的潮流和风模式，且均未在训练期间使用。评估指标包括成功率、纵向跟踪误差 xe、横向跟踪误差 ye 和航向误差ψe。成功率衡量 USV 在无故障或过度偏离的情况下完成参考路径跟随任务的试验比例。纵向和横向跟踪误差分别评估沿参考路径和跨参考路径的位置跟踪精度，而航向误差衡量 USV 航向与期望路径方向之间的一致性。比较结果报告在表 5 中。

表 5. 路径跟随任务的跨区域泛化性能。
| 测试区域 | 算法 | SR (%) | xe (m) | ye (m) | ψe (rad) |
| :--- | :--- | :--- | :--- | :--- | :--- |
| 南海留置区域 | DTD3-CPER | 95.3 | 0.35 | 0.43 | 0.57 |
| | TD3 | 83.6 | 0.61 | 0.74 | 0.88 |
| | DDPG | 75.8 | 0.83 | 0.98 | 1.07 |
| 东海区域 I | DTD3-CPER | 92.7 | 0.41 | 0.46 | 0.64 |
| | TD3 | 79.4 | 0.68 | 0.80 | 0.96 |
| | DDPG | 71.6 | 0.91 | 1.09 | 1.21 |
| 东海区域 II | DTD3-CPER | 90.8 | 0.39 | 0.55 | 0.69 |
| | TD3 | 80.7 | 0.65 | 0.88 | 1.03 |
| | DDPG | 68.3 | 0.89 | 1.16 | 1.29 |

如表 5 所示，DTD3-CPER 在三个留置海洋区域保持了相对稳定的路径跟随性能。与 TD3 和 DDPG 相比，它在不同的海洋潮流和风场分布下始终实现更高的成功率和更低的纵向、横向及航向误差。虽然跟踪性能在各测试区域之间略有变化，但整体退化仍然有限，表明学习到的策略可以适应未见的海洋扰动模式而无需额外训练。相比之下，TD3 和 DDPG 表现出更明显的成功率下降和更大的跟踪偏差，特别是在环境特征不同的区域。这些结果表明，分布式经验收集和 CPER 提高了训练样本的多样性和利用率，从而增强了路径跟随策略在测试仿真条件下的跨区域适应性和鲁棒性。

5.5. 消融实验

为了分离分布式训练和 CPER 各自的贡献，在相同的环境设置、奖励设计、网络架构和训练超参数下，分别对路径规划和路径跟随进行了因子消融实验。在每个任务中比较了五种算法变体：作为基线的标准 TD3、DTD3、TD3-PER、DTD3-PER 以及所提出的 DTD3-CPER。为了减少随机性的影响，每种配置使用不同的随机种子重复了五次。对于路径规划成功率、碰撞率、路径长度和收敛回合数进行了记录。对于路径跟随，记录了成功率、跟踪误差、航向误差和收敛回合数。结果总结在表 6 和表 7 中。

表 6. 路径规划任务的消融实验结果。
| 算法 | 成功率 (%) | 碰撞率 (%) | 路径长度 (m) | 步数 | 收敛回合数 |
| :--- | :--- | :--- | :--- | :--- | :--- |
| TD3 (基线) | 93.0 | 4.2 | 101.4 | 64 | 2180 |
| DTD3 | 95.2 | 2.9 | 98.8 | 62 | 1520 |
| TD3-PER | 94.1 | 3.4 | 99.6 | 63 | 1940 |
| DTD3-PER | 98.0 | 1.2 | 96.5 | 61 | 1320 |
| DTD3-CPER | 100.0 | 0.0 | 94.7 | 59 | 1210 |

表 7. 路径跟随任务的消融实验结果。
| 算法 | 成功率 (%) | 航向误差 (rad) | 跟踪误差 (m) | 收敛回合数 |
| :--- | :--- | :--- | :--- | :--- |
| TD3 (基线) | 84.5 | 0.92 | 4.82 | 2450 |
| DTD3 | 91.2 | 0.74 | 3.61 | 1780 |
| TD3-PER | 88.0 | 0.81 | 3.92 | 2120 |
| DTD3-PER | 95.6 | 0.63 | 2.41 | 1510 |
| DTD3-CPER | 100.0 | 0.54 | 1.80 | 1380 |

基于消融实验结果，仅代表分布式训练的 DTD3 将收敛回合数从 2180 减少到 1520，减少了约 30.3%。它还提高了成功率从 93.0% 到 95.2%，降低了碰撞率从 4.2% 到 2.9%，并将平均路径长度从 101.4 米减少到 98.8 米。TD3-PER 实现了 94.1% 的成功率、3.4% 的碰撞率、99.6 米的平均路径长度，并在 1940 回合内收敛。通过将分布式训练与 PER 结合，DTD3-PER 进一步将成功率提高到 98.0%，将碰撞率降低到 1.2%，并将平均路径长度和步数分别减少到 96.5 米和 61 步。完整的 DTD3-CPER 实现了最佳的整体性能，成功率为 100%，零碰撞，最短的平均路径长度为 94.7 米，最低的平均步数为 59，以及在 1210 回合内最快收敛。

对于路径跟随任务，观察到了类似的改进模式。与 TD3 基线相比，DTD3 将收敛回合数从 2450 减少到 1780，将成功率从 84.5% 提高到 91.2%，并将跟踪误差从 4.82 米减少到 3.61 米。TD3-PER 提供了适度的增益，但其收敛回合数仍然相对较高，为 2120。DTD3-PER 进一步将成功率提高到 95.6%，将跟踪误差减少到 2.41 米，将航向误差降低到 0.63 弧度，并在 1510 回合内收敛。完整的 DTD3-CPER 实现了最强的性能，成功率为 100%，最低的航向误差为 0.54 弧度，最小的跟踪误差为 1.80 米，以及在 1380 回合内最快收敛。总体而言，分布式训练主要加速收敛并提高学习稳定性，而 CPER 通过提高信息性成功经验和关键安全经验的利用率进一步增强了最终性能。它们的结合在测试的仿真设置下产生了最鲁棒和高效的导航行为。

6. 结论

本文提出了一种海洋数据辅助的分布式 DRL 框架，用于数据驱动海洋仿真环境中的 USV 路径规划和路径跟随。所提出的方法使用任务感知共享 DTD3-CPER 学习架构来协调导航决策、分布式训练和类别经验管理。ERA5 数据集中的海流和风场数据被纳入基于网格的导航模型，为策略评估提供空间变化的海洋扰动。开发了一种异步多进程分布式训练机制以提高经验收集和策略更新，而 CPER 机制通过根据任务结果和采样优先级组织经验来增强样本利用率。仿真结果表明，在测试的仿真设置下，所提出的框架在学习效率、导航安全、跟踪精度和扰动适应性方面取得了与选定的 DRL 基线和传统方法相比具有竞争力的性能。

从管理视角来看，本研究为开发智能海上运输系统提供了见解。首先，将海洋环境数据纳入基于仿真的训练环境强调了数据支持导航决策对自主海上操作的重要性。这可以帮助海上运营商在实际部署前评估不同潮流和风况下的导航策略。其次，任务感知共享学习框架为协调自主导航系统中的路线级决策和运动级控制提供了参考。第三，分布式强化学习架构展示了并行经验收集和异步策略更新在改善不同海洋条件下训练效率方面的潜力。总体而言，所提出的框架可能支持未来的应用，如自主航运、海洋观测、海上监视和应急响应。

尽管有这些贡献，本研究存在一些局限性。首先，仿真环境不包括水深测量、海岸线几何形状、动态交通或波浪引起的流体动力响应。附近船舶的行为和决策也未建模，符合 COLREG 的交互超出了当前范围。不同海况下的波浪效应，如 JONSWAP 谱所表示的，也被排除在外。其次，路径长度和步数仅用作路线效率指标，而不是物理能量模型。实际的 USV 能量使用取决于速度剖面、流体阻力、潮流与风向对齐以及执行器出力。第三，该框架仅考虑单个 USV，而许多海上任务需要多智能体协调。未来的工作将纳入经过验证的能量模型、动态船舶交通、周围船舶行为、硬件在环测试、波浪响应模型以及合作式多 USV 导航。

CRediT 作者贡献声明
龚崇伟：写作 – 审阅与编辑，写作 – 原稿，软件，方法论，调查，形式化分析，概念化。周雨生：写作 – 原稿，指导，方法论，调查，形式化分析，概念化。

龚崇伟 | 周雨生