《Advances in Mechanical Engineering》：Scalable multi-AUV complete area coverage with dynamic beacon survey via attention-based MADDPG
编辑推荐：
摘要翻译：海上ISR任务中的多AUV集群必须在执行角度约束、多轮信标检查的同时实现完全区域覆盖，而这两个目标在结构上相互冲突。标准MADDPG在处理这种耦合性和可扩展性时表现不佳，因为其集中式Critic输入随智能体数量增长而增大，导致训练不稳定且迁移能力差。
摘要翻译：海上ISR任务中的多AUV集群必须在执行角度约束、多轮信标检查的同时实现完全区域覆盖，而这两个目标在结构上相互冲突。标准MADDPG在处理这种耦合性和可扩展性时表现不佳，因为其集中式Critic输入随智能体数量增长而增大，导致训练不稳定且迁移能力差。本文提出Attention-MADDPG，一个用于可扩展多AUV覆盖和动态信标检查的统一框架。双模式决策架构将网格记忆与强化学习策略相结合，在覆盖探索和几何检查之间切换。多头自注意力Critic学习稀疏的智能体间交互，抑制无关同伴信息并降低通信开销。一个有界的复合Grade函数对覆盖、检查正确性、对齐、效率和协作安全进行奖励。实验表明，Attention-MADDPG在收敛性和任务Grade方面优于MATD3、MADDPG、IDDPG、FDSAC和FTC+CBF。在N=3下训练的策略零样本迁移至N=8，实现100%覆盖率，在52.37分钟内完成全部152次信标检查，并记录到零协作失败。在N∈{5,10,15}下的测试显示出稳定的可扩展性，且在N=15时活动链路比全拓扑MADDPG减少约80%。鲁棒性测试在八个角度偏移下保持100%的检查精度，并在传感器噪声和数据包丢失高达20%时性能不变。
论文解读：
**研究背景与问题**
在现代海战中，从平台中心战向网络中心战的转变使得无人系统成为海上安全的关键支撑。在专属经济区执法、反潜战准备和争议水域水文测量等关键工程场景中，迫切需要“透明海洋”能力。相较于有人水面舰艇，小型自主水下机器人（AUV）集群具有隐蔽性强、成本效益高和分布式容错等优势，非常适合在“灰色地带”执行持续情报、监视与侦察（ISR）任务。然而，将战略需求转化为自主控制算法面临三大核心挑战：第一，“覆盖-检查”冲突，实际ISR任务要求集群在保证完全区域覆盖（扫描海底每个网格）的同时，对已发现目标进行精确识别，传统的Boustrophedon路径在需要偏离以固定战术角度检查可疑目标时缺乏灵活性；第二，信息不确定性与约束，在敌对或未测绘环境中目标位置未知，AUV必须在部分可观测和严格运动学约束下运行，其协同行为不能降低整体覆盖效率；第三，可扩展性瓶颈，标准多智能体深度强化学习（MARL）算法如多智能体深度确定性策略梯度（MADDPG）的集中式Critic输入随智能体数量增长而指数膨胀，导致学习失效，不相关同伴信息的噪声淹没了关键交互信息。为弥合理论MARL与工程实践之间的鸿沟，本文提出基于Attention-MADDPG的可扩展多AUV协同框架，旨在解决不规则区域覆盖与多轮固定角度未知静态信标检查的耦合问题。
**研究内容与主要技术方法**
研究人员提出了Attention-MADDPG算法框架，其核心技术包括：构建网格-向量混合模型，将历史覆盖记忆与运动学检查约束集成；设计双模式决策架构，在覆盖模式与检查模式之间动态切换；在集中式Critic中嵌入多头自注意力机制，使每个智能体仅关注最相关的邻居信息；设计有界复合Grade函数，对覆盖、检查正确性、对准、效率和协作安全进行综合奖励。此外还建立了策略梯度良定义性、目标网络稳定性、注意力方差缩减和有限时间覆盖终止四类理论保证。训练环境使用N=3个同质智能体、9个随机威胁区和3个动态信标，仿真在配备Intel i7 3.6 GHz CPU、Quadro P4000显卡和16 GB内存的平台上进行，算法采用两层[64,64]网络结构，Actor学习率1×10??，Critic学习率3×10??，软更新率0.005，批大小256，折扣因子0.95。
**研究结果**
**多基线对比**：在1000个训练回合中，Attention-MADDPG在约300回合内收敛至峰值奖励约7950，而FDSAC稳定在约6850，标准MADDPG因缺乏智能体间特征提取而性能不佳，IDDPG不收敛，无训练的FTC+CBF仅为约5600。任务Grade方面，Attention-MADDPG稳定在约40，是唯一同时实现高覆盖完整性和高检查精度的方法。
**轨迹可视化与状态分析**：训练后轨迹显示，智能体集群在收敛至信标时呈现符合角度约束的接近行为，且能通过自适应重算航向角有效规避威胁区，生成近最短绕行路径。传感器测距和角度误差信号随时间收敛至零，验证了引导奖励的有效性。
**注意力权重可视化与机制可解释性**：在覆盖探索阶段，分散的智能体产生稀疏注意力热图，几乎为零的智能体间权重过滤了远端同伴信息；在信标收敛阶段，空间邻近导致密集注意力集群和强连通子图，注意力机制动态重新分配权重至近邻，实现严格碰撞规避和精确信用分配，避免了注意力崩溃。
**全规模协同覆盖与信标检查**：将N=3训练的零样本策略直接部署至N=8完整操作环境，实现100%非重叠区域覆盖，在52.37分钟内完成全部152次信标检查，零协作失败。三阶段任务过程展现了从初始子区域分配、中期局部目标检查到后期全局协调动态迁移的完整流程。
**可扩展性与零样本泛化**：将N=3策略零样本转移至N∈{5,10,15}，完成步数从约1350（N=5）降至约750（N=15），任务Grade在N=8峰值后在高密度下受碰撞约束影响而受控下降，但未出现策略崩溃。通信效率方面，标准MADDPG在全拓扑下O(N2)扩展（N=15时达210条链路），而注意力过滤拓扑实现线性扩展，N=15时仅需约40条活跃链路，带宽开销降低80%。
**角度泛化验证**：将训练策略在八种均匀分布的角度偏移Δθ∈{0°,45°,90°,135°,180°,225°,270°,315°}下评估，Gacc在所有偏移下保持100%且方差极小。由于几何规划器完全吸收了角度特定计算，策略面临的是结构相同的导航任务，因此角度不变性由设计保证而非神经网络偶然泛化。
**鲁棒性评估**：在传感器噪声（σ∈{0,0.05,0.10}）和数据包丢失率（Ploss∈{0%,5%,10%,20%}）以及组合扰动条件下训练策略性能完全不变，覆盖率和Grade保持100.00%和40.19。多头自注意力机制通过softmax归一化自动将退化输入的权重抑制至接近零，且集群固有的路径冗余使单个智能体的观测误差影响被稀释约1/(N?1)倍，与理论方差缩减界一致。
**讨论与结论**
讨论部分指出，标准MADDPG的Critic输入维度随智能体数量呈O(N·(d_obs+d_act))增长，引入高方差冗余信息而推高TD误差方差；注意机制通过softmax加权聚合，将几何不相关同伴的权重抑制至近零，降低Critic输入方差从而加速收敛。与FTC+CBF等模型控制器的对比表明，在安全性关键且动力学已知场景中经典控制更具优势，而在未知信标分布和动态属性变化环境中学习策略更优。研究结论为：Attention-MADDPG通过多头自注意力和双模式架构解决了多AUV协同覆盖与信标检查的可扩展性问题，零样本迁移和鲁棒性验证了其实际部署潜力。当前工作的局限在于：子区域初始化假设凸操作边界，非凸几何无法确定性预划分；平面运动学模型抽象了AUV水动力学，未来需扩展至六自由度模型并考虑海流扰动，通过硬件在环验证弥合仿真到现实的差距。
