风险感知的强化学习与滚动时域控制混合框架在水下双基地声呐目标跟踪中的应用

《Journal of Marine Science and Engineering》:Risk-Aware Hybrid Decision-Making Combining Reinforcement Learning and Receding Horizon Control for AUV Bistatic Sonar Target Tracking

【字体: 大 中 小 】 时间:2026年09月18日 来源:Journal of Marine Science and Engineering 3.2

编辑推荐:

   摘要

  

摘要

强化学习(RL)可以引导自主水下航行器(AUV)机动,以改善双基地声呐目标跟踪中的源-目标-接收器相对几何关系。然而,学习一个可靠的RL策略通常需要与环境进行大量的交互。本文提出了一种风险感知的混合决策框架,将RL策略与选择性滚动时域控制(RHC)相结合,以减少策略训练的需求。具体而言,软演员-评论家(SAC)作为标称决策器,而跟踪风险检测器则评估目标存在概率和估计不确定性。当识别出高风险信念状态时,RHC暂时覆盖SAC的动作,并基于预测的跟踪不确定性和声学可检测性执行有限时域规划。采用蒙特卡洛树搜索来高效求解由此产生的规划问题。数值仿真结果表明,在有限的SAC训练预算下,所提出的框架能够提高跟踪性能并减少目标丢失事件。特别是,使用经过160,000次交互步骤训练的SAC策略的混合框架,其跟踪性能与纯SAC经过500,000步训练相当,而仅需稀疏的RHC干预。这些结果表明,选择性在线规划在策略训练需求、在线计算成本和目标跟踪性能之间提供了有效的权衡。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号