合作追踪水下动态目标：一种基于异构图注意力网络的多智能体强化学习方法

《ADVANCED ENGINEERING INFORMATICS》：Cooperative pursuit of underwater dynamic targets: a heterogeneous graph attention network-based multi-agent reinforcement learning approach

　　曹哲|陈艳丽|任天龙
教育部数控设备可靠性重点实验室，吉林大学，长春130025，中国

**摘要**
随着海洋智能设备技术的进步，利用由自主水下航行器（AUV）和无人水面航行器（USV）组成的异构系统进行协同操作已成为应对复杂水下挑战的前沿。在诸如3D动态目标追踪等特定场景中，克服水下通信和感知的固有局限性是提升整个系统性能的关键。针对现有强化学习方法在通信效率、异构交互建模以及实际动态下的工程化控制方面存在的共同挑战，本文提出了一种基于异构图注意力网络的异构多智能体软演员-评论家（HGA-HASAC）框架。该框架首先设计了一个异构关系抽象网络（HeRANet），该网络利用硬性和软性注意力机制根据空间分布和智能体类型选择性地聚合邻居信息，从而有效捕捉复杂交互并减少通信开销。其次，在评论家网络中引入了异构边缘增强图注意力模块，以准确评估异构系统的联合策略价值。此外，本文放弃了简化的运动学模型，基于AUV和USV的真实动态方程构建了端到端控制策略。该策略直接向执行器输出低级控制指令，从而提高了学习策略的实际真实性和工程相关性。数值仿真结果表明，与基线算法相比，所提出的HGA-HASAC框架在追踪成功率和协同效率方面具有显著优势，验证了其在解决异构海洋机器人系统协同追踪问题中的有效性和优越性。

**引言**
自主水下航行器（AUV）由于其体积小、机动性强和集成度高等优点，在军事和民用领域得到了广泛应用[[3], [4]]。随着强化学习等人机智能技术的发展，它们的自主性和智能决策能力得到了进一步提升。现有研究探索了分布式AUV或多机器人系统中的目标追踪、协同搜索和追踪-规避策略学习，但许多研究仍主要针对2D任务环境或简化场景，未能充分反映真实3D目标追踪的空间复杂性[31], [12], [36]。最近的强化学习方法将追踪-规避策略学习扩展到了3D环境和端到端决策。然而，许多现有方法仍然依赖于简化的质点运动学模型，忽略了海洋车辆之间的真实运动约束和性能差异[11], [25]。此外，水下通信存在固有局限性，包括带宽低、延迟高和传输距离短。为了缓解这些限制，异构AUV-USV合作受到了越来越多的关注，特别是利用USV作为通信中继节点或协调支持。现有研究探讨了此类异构环境中的任务分配和协同狩猎，但大多数研究尚未明确解决中继受限的水下通信问题以及随着团队规模增加的集中训练与分散执行（CTDE）下的可扩展策略学习[34], [35]。

基于前述分析，本文解决了在具有真实车辆动态的3D部分可观测水下环境中，异构AUV-USV追踪系统的可扩展性和通信感知协同决策问题。与同构多AUV追踪不同，AUV-USV设置引入了依赖中继的信息交换、非对称智能体角色以及异构观测和动作，这些因素共同构成了CTDE下的结构化交互和价值耦合问题。为了解决这一挑战，本文提出了一种基于异构图注意力网络的异构多智能体软演员-评论家框架（HGA-HASAC），该框架旨在支持选择性的异构交互建模和可扩展的联合价值估计。此外，由于在严格攻击条件和真实动态下的直接训练会导致成功样本稀少和收敛不稳定，因此采用了渐进式学习策略来逐步增加训练难度。本文的主要贡献如下：
1) 我们提出了一种异构关系抽象机制（HeRANet）。与仅依赖逻辑连接性的传统图注意力网络不同，该机制通过双阶段注意力过程将声学通道约束（物理层）与交互重要性（逻辑层）明确耦合起来，从而弥合了抽象的多智能体协调与水下环境实际变化通信限制之间的差距。
2) 我们提出了一种新颖的3D异构追踪的非对称协作范式。通过策略性地利用USV作为动态水面中继，该框架缓解了水下AUV集群的固有感知和通信瓶颈。这超越了简单的编队控制，展示了跨介质信息融合如何在部分可观测性下积极提升整个群体的可观测性和决策质量。
3) 我们建立了一种结合6自由度非线性车辆动态的严格强化学习方法。与许多现有MARL研究中使用的理想化质点模型不同，我们的方法直接将传感器输入映射到执行器级别的指令（推力和舵角），以应对随机环境干扰。与理想化的运动学公式相比，这提高了学习策略的实际真实性和工程相关性，并为未来的仿真到实际应用研究提供了更现实的基础。

本文的其余部分组织如下：第2节回顾相关工作；第3节详细描述系统模型；第4节介绍网络架构设计和算法优化；第5节通过数值仿真验证所提出的HGA-HASAC算法的有效性；最后，第6节总结全文。

**相关工作**
本节回顾了与我们的工作最密切相关的代表性研究，重点关注异构多智能体强化学习和基于图注意力网络的协同决策方法。

**异构图表示**
由N个异构海洋平台组成的多智能体系统用有向图G=(V,E)表示，其中V={v1,…vN}代表海洋环境中的追踪者节点集合，E?V×V代表海洋平台之间存在的有向通信链接集合。每对节点形成的边的特征包括边属性和边类型。在本文中，USV作为AUV的通信中继。

**基于Dec-POMDP框架的异构多海洋车辆强化学习训练框架**
基于第3.2节中的Dec-POMDP框架，本研究专注于参与追踪-规避任务的异构海洋群体系统中PAUV和USV的策略优化问题。通过系统地设计观测空间、动作空间和奖励函数等核心元素，我们优化了异构海洋群体系统的决策能力，以最大化总奖励，同时优化EAUV的规避策略。

**仿真结果与讨论**
为了评估所提出的HGA-HASAC方法在异构海洋车辆群体系统协同游戏任务中的性能，本文采用了三个性能指标：平均累积奖励、平均剧集长度和平均成功狩猎率。平均累积奖励曲线可以有效评估PAUV和USV的学习效率：
AUVμmar=∑m=1M∑i=1Nari/M
USVμmar=∑m=1M∑i=1Nuri/M
其中Na和Nu分别表示群体系统中的AUV和USV数量。

**结论与未来工作**
本文解决了在具有未知水流干扰的3D部分可观测水下环境中，异构海洋群体系统在追踪-规避游戏中面临的高通信带宽、困难异构交互建模和策略迁移性差的问题。我们提出了一种基于异构图注意力网络（HGA-HASAC）的异构多智能体软演员-评论家框架。该框架设计了一个异构关系抽象网络（HeRANet）。

**作者贡献声明**
曹哲：撰写——原始草稿、方法论、调查、数据整理。
陈艳丽：验证、监督、资源管理、项目管理、资金获取。
任天龙：撰写——审阅与编辑、软件开发。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本研究得到了吉林省科学技术发展计划（编号YDZJ202503CGZH015）、海洋防御创新基金（编号JJ-2022-701-08）、国家自主海洋车辆技术重点实验室和哈尔滨工程大学（编号2024-CXFT-GF-JJ-100-02）的支持。