《Journal of Marine Science and Engineering》:Research on Cooperative Pursuit Strategy of Multiple UUVs Based on Deep Reinforcement Learning in Complex Dynamic Environments
编辑推荐:
多无人水下航行器(UUVs)的协同追捕是水下安全与目标拦截领域的一项典型对抗任务。然而,固有的水下挑战,如通信延迟、海流扰动、有限的声纳探测范围、随机分布的障碍物以及机动规避目标,可能导致状态信息滞后、协同决策困难、追捕编队不稳定以及复杂的动态避障。为解决上述
多无人水下航行器(UUVs)的协同追捕是水下安全与目标拦截领域的一项典型对抗任务。然而,固有的水下挑战,如通信延迟、海流扰动、有限的声纳探测范围、随机分布的障碍物以及机动规避目标,可能导致状态信息滞后、协同决策困难、追捕编队不稳定以及复杂的动态避障。为解决上述问题,研究人员建立了一个分层UUV模型,该模型在深度强化学习框架内结合了水平面运动学、简化纵摇-艏摇动力学、海流扰动项以及底层执行器饱和约束。其次,提出了一种基于PER-TD3的逃逸策略学习方法,以构建可机动规避的目标模型;训练后的逃逸者将局部声纳、追捕者相对、障碍物和洋流观测映射为有界速度和艏摇率指令,从而为后续追捕训练提供对抗性目标。第三,针对通信延迟和局部观测导致的决策滞后,提出了一种LSTM-PMADDPG单目标追捕方法作为时间基线。最后,考虑到动态障碍物的干扰和多目标分配的困难,构建了LSTM-MATD3多目标追捕算法,以实现自主多目标分配、动态避障和稳定包围。
**论文解读文章**
**研究背景与问题**
在复杂水下环境中,多无人水下航行器(UUVs)的协同追捕是水下安全与目标拦截领域的关键对抗任务。相较于单UUV系统,多UUV集群在广域海洋作业中具有空间分布广、效率高、容错性强等优势,但面临通信延迟、海流扰动、有限声纳探测范围、随机分布障碍物及机动规避目标等固有挑战,导致状态信息滞后、协同决策困难、追捕编队不稳定及动态避障复杂。现有传统控制方法(如PID、反步法、滑模控制、模型预测控制等)依赖精确解析建模和参数整定,难以适应动态海洋环境。基于深度强化学习(DRL)的方法虽能学习从感知到控制的映射,但现有研究多忽略对抗性训练目标、通信延迟下的时序不确定性、动态避障及多目标分配等综合问题。因此,该研究旨在构建一个统一的、鲁棒的多智能体深度强化学习(MARL)框架,以解决多UUV在复杂动态环境中的多目标追捕与包围问题。
**研究内容与结论**
该研究建立了分层UUV模型,结合水平面运动学、简化纵摇-艏摇动力学、海流扰动和底层执行器饱和约束。提出了基于PER-TD3(优先经验回放双延迟深度确定性策略梯度)的逃逸策略,训练可机动规避的目标模型;针对通信延迟,提出了LSTM-PMADDPG(长短期记忆-多智能体深度确定性策略梯度)单目标追捕方法作为时序基线;最终构建了LSTM-MATD3(长短期记忆-多智能体双延迟深度确定性策略梯度)多目标追捕算法,实现自主多目标分配、动态避障和稳定包围。仿真结果表明,LSTM-MATD3在动态障碍物、海流扰动和通信延迟的复杂场景下,捕获成功率最高(93.1%),碰撞率最低(0.7%),平均捕获步数最短(156),且收敛速度与稳定性显著优于LSTM-PMADDPG、MATD3、MADDPG、COMA、QMIX、MAPPO等基线方法。消融实验验证了LSTM模块、双Critic最小机制、延迟更新、分组奖励和避障奖励各组件均对性能有可量化的贡献。该论文发表在《Journal of Marine Science and Engineering》。
**主要关键的技术方法**
该研究采用以下关键技术方法:
1. **PER-TD3逃逸策略**:基于优先经验回放(PER)和双延迟深度确定性策略梯度(TD3)算法,训练目标UUV学习机动规避行为,利用时序差分(TD)误差优先采样关键过渡(如接近捕获、障碍物边界、突破成功),输出有界速度和艏摇率指令。
2. **LSTM-MATD3多目标追捕算法**:在MATD3(多智能体双延迟深度确定性策略梯度)框架中集成长短期记忆(LSTM)网络,采用集中训练分散执行(CTDE)架构,处理时序状态序列以缓解通信延迟和局部观测导致的时序盲区,并通过双Critic最小值和延迟策略更新抑制值过估计。
3. **分组奖励函数设计**:针对多目标追捕(6 vs 2),引入组间干扰惩罚和错误跟踪惩罚,避免多UUV扎堆单目标,促进系统自组织形成稳定的3v1编队。
4. **动态障碍物环境模拟**:构建包含随机初始位置、速度、轨迹的动态障碍物场景,测试算法在非平稳环境中的避障和路径规划能力。
**研究结果**
**5.1 多目标捕获过程仿真分析**
通过训练奖励曲线和关键节点仿真分析,表明LSTM-MATD3算法能有效引导多智能体系统完成协同捕获。两组追捕UUV(每组3艘)的奖励在20,000个训练回合中均收敛至稳定区间(组A:180–200,组B:190–210),波动幅度显著减小,证明算法已掌握稳定的捕获策略,可连续完成捕获任务。
**5.2 不同算法在动态环境中的捕获性能对比分析**
在相同仿真条件下(6艘追捕者 vs 2艘逃逸者,逃逸者使用PER-TD3策略,考虑动态障碍物、海流扰动和通信延迟),与LSTM-PMADDPG、MATD3、MADDPG、COMA、QMIX、MAPPO进行对比。LSTM-MATD3获得最高捕获成功率(93.1%),最低碰撞率(0.7%),平均捕获步数最短(156)。Welch’s t检验显示改进在0.01水平上统计显著。消融实验表明,LSTM模块贡献最大(移除后成功率下降20.6个百分点,平均步数增加69),单Critic结构、分组奖励和避障奖励的移除也分别导致性能退化。
**5.3 实际适用性与局限性**
该方法旨在用于水平面场景中小型UUV团队的协同制导与决策。实际部署中,仅需在每艘UUV上运行Actor网络(基于局部观测序列和延迟邻居信息),Critic网络仅用于离线训练,符合CTDE特性,兼容水声通信约束。但当前仿真假设海流为有界扰动、声纳为有限范围扇形模型、低层控制器跟踪制导指令,且仅关注水平面运动,这些假设限制了直接海试部署。未来需通过域随机化、硬件在环实验和受限水域测试逐步验证。
**结论部分翻译**
本文提出的基于LSTM-MATD3的核心算法在动态复杂水下环境中展现出具有竞争力的性能。该算法能够处理动态障碍物干扰、多目标分配、通信延迟和水下环境扰动。与LSTM-PMADDPG、MATD3、MADDPG、MAPPO、COMA和QMIX基线相比,所提方法在测试仿真设置中实现了更高的捕获成功率、更少的捕获步数、更低的碰撞率以及更稳定的收敛。专门的消融研究进一步验证了LSTM模块、MATD3双Critic机制、延迟更新策略、分组奖励和避障奖励各自对最终性能有可量化的贡献。通过利用时序信息和延迟更新机制,LSTM-MATD3提升了多UUV系统的综合捕获效率和策略稳定性。该研究为复杂水下场景中的多UUV协同捕获提供了方法论支持。未来研究应进一步克服当前局限性,从当前二维水平捕获扩展到更真实的三维空间场景,并开展硬件在环或实地实验。