随着对海洋安全、环境监测和资源探索需求的增加，无人水面航行器（USV）因其机动性和成本效益而受到关注，研究重点从单个单元转向了用于更复杂任务的合作型多USV系统。因此，在协作和竞争环境中利用多个USV已成为推进自主海洋操作的关键，特别是在站位保持、追逃和通信对抗方面。
近年来，涉及多个USV的追逃游戏逐渐受到关注，这些游戏利用深度强化学习（DRL）和微分博弈论实现了在复杂海洋环境中的协同拦截。例如，Qu等人（2023年）提出了一种基于DRL的USV追逃策略，用于在拥挤、障碍物众多的水域中导航，其中动态奖励函数有效引导多个追击者形成协同包围阵型。Xue等人（2025年）通过使用多智能体自注意力软演员-评论家架构扩展了这一框架，显著提高了目标定位精度和团队协调性。此外，最近的研究报道了针对能见度受限环境的分布式近端策略优化方法，基于GRU的状态编码和课程学习在收敛速度和捕获成功率方面取得了显著提升（Li等人，2024年）。
尽管不如追逃任务受到关注，但站位保持（即保持固定位置或编队）在USV应用中仍然至关重要。DRL驱动的路径跟踪和对接控制方案已显示出在精确站位保持方面的潜力。例如，Woo等人（2019年）开发了一种基于Q学习的增强控制器，可以无缝切换到通行、站位保持和倒车模式。此外，最近的技术如内在好奇心增强DRL在环境干扰存在的情况下实现了稳健的轨迹跟踪能力（Wu等人，2024年）。这些架构易于适应固定站位任务，为协调多USV操作提供了有希望的途径。
在对抗性条件下确保USV之间的安全通信至关重要。虽然已经探索了基于博弈论的方法来对抗干扰（Jia等人，2018年），但传统方法在动态海洋环境中的高维状态空间面前往往面临挑战。多智能体深度强化学习（MADRL），特别是基于CTDE范式的MADDPG方法，为在这种复杂场景中学习稳健策略提供了更灵活的框架。
尽管上述方法为各自场景提供了有效的解决方案，但没有一种方法能在所有三种游戏环境中始终获得高累积奖励。尽管一些方法包括了USV的物理建模，但没有一种方法在现实的水动力仿真环境中得到验证。Lowe等人（2017年）开发了多智能体深度确定性策略梯度（MADDPG）算法，在多智能体粒子环境（MPE）中的占用、追逃和隐蔽通信游戏中展示了强大的累积奖励性能。这一成功表明MADDPG有可能成为适用于多种多USV博弈论对抗场景的通用算法。我们的工作专注于使用CTDE框架中的MADDPG算法为USV生成博弈论策略。在MADDPG的基础上，我们创新性地提出了动态残差多阶段回放策略梯度（DRMRPG）算法。首先在标准MPE基准测试中验证了其有效性，随后在基于Unity的仿真环境中部署，模拟了现实的多USV对抗场景。
我们提出了几种优化策略，以提高多智能体强化学习中的经验利用率，旨在加速收敛速度并增强多USV对抗场景中的环境感知能力。这些策略还提高了累积奖励，并在协作和竞争环境中改进了协调策略。我们的贡献如下：
(1) 为了解决多USV集群的高维状态空间带来的挑战，我们引入了一种创新的特征提取方法，该方法利用残差连接来增强表示学习和整体性能。
(2) 为了解决MADDPG算法中固有的收敛速度慢的问题，特别是在多USV对抗环境中，我们提出了一种动态软更新机制，根据智能体的进展调整更新率以加速学习。
(3) 为了解决USV集群中经验回放池利用率低的问题，我们设计了一种多阶段经验回放策略，旨在提高经验采样的效率并增强整体学习过程。
本文的其余部分组织如下：第2节介绍了创新点的核心原理。第3节深入探讨了强化学习的基本范式、本文使用的基线算法以及USV协作和对抗仿真环境（物理模型、状态/动作空间和奖励设计）。第4节详细解释了与算法相关的创新。第5节致力于算法的实验验证。最后，第6节总结了本文。除了提出的USV场景外，我们的实验评估还包括三个标准的多智能体粒子环境（MPE）任务：物理欺骗、捕食者-猎物和隐蔽通信，这些是多智能体协作和竞争的常用基准场景。虽然DRMRPG主要针对多智能体协作和竞争，但其可扩展性和在更广泛机器人领域的适用性也是关键考虑因素。如实验和结论中所讨论的，该方法的组件支持处理更多的智能体数量和多样的环境。
