基于循环软演员-评论家算法的智能船舶动态目标自主追踪与稳定跟踪方法

《Journal of Marine Science and Engineering》：Autonomous Approach and Stable Tracking of Dynamic Target for Intelligent Ship Using Recurrent Soft Actor-Critic

　　

摘要

对于自主船舶而言，动态目标跟踪是一项极具挑战性的任务，因为相对运动状态会持续变化，同时还需要对位置、航向和速度进行协同控制。本文提出了一种基于软演员-评论家（SAC）强化学习的任务导向型连续决策框架，用于实现自主追踪及稳定跟随动态目标船舶。该框架通过将基于LSTM的序列编码引入策略网络和价值网络中，从而能够捕捉目标运动的近期变化规律以及本船的机动响应。此外，还定义了由距离和相对方位角约束构成的扇形跟踪区域，并设计了一种多组分奖励函数，将距离收敛、航向调整、区域维持、速度匹配和控制平滑性等因素纳入策略学习过程中。在直线运动、曲线运动以及随机初始条件下的仿真实验表明，与SAC、PPO和DDPG相比，所提出的SAC-LSTM方法在相同任务设置下具有更强的任务完成能力和更好的控制效果。与标准SAC相比，SAC-LSTM使平均成功率提升了7.5个百分点，平均任务时长减少了约22.0%，平均航向误差则降低了约35.5%。进一步的序列长度分析、奖励组件消融实验以及多级干扰测试也验证了该设计的有效性。实验结果表明，所提出的方法为动态目标跟踪任务中的连续决策问题提供了有效的解决方案。