考虑死区效应且速度耦合的自主帆船Q学习路径规划
《Ocean & Coastal Management》:Dead-zone-aware and speed-coupled Q-learning path planning for autonomous sailboats
【字体:
大
中
小
】
时间:2026年07月22日
来源:Ocean & Coastal Management 5.9
编辑推荐:
•提出了一种基于Q学习的自主帆船路径规划算法。•在导航过程中通过动态更新动作空间来考虑死区约束。(96字符)•引入了最大速度-航向函数以提高路径的真实性。•速度奖励函数有助于形成高速轨迹并选择更短路线。•合理的奖励设计、学习率以及探索策略能够实现可行且安全的路径规划。
引言
对
•提出了一种基于Q学习的自主帆船路径规划算法。•在导航过程中通过动态更新动作空间来考虑死区约束。(96字符)•引入了最大速度-航向函数以提高路径的真实性。•速度奖励函数有助于形成高速轨迹并选择更短路线。•合理的奖励设计、学习率以及探索策略能够实现可行且安全的路径规划。
引言
对于自主帆船而言,路径规划对于确保长时间、远距离任务的安全与高效进行至关重要。由于风是唯一的推进力来源,规划过程必须全面考虑风况、波浪动态以及障碍物等因素,这些都会带来巨大挑战。目前,关于自主帆船路径规划的研究主要采用了迪杰斯特拉算法、A*算法、蚁群优化算法、势场法以及基于强化学习的方案(Wu和Wang,2024年)。
迪杰斯特拉算法是一种贪心算法,用于在带权有向图中寻找最短路径(Dijkstra,1959年)。Gianandrea Mannarini等人(2015年)开发了一种无需参数的最短路径优化算法,该算法整合了动态预报数据与海洋环境状况。他们将迪杰斯特拉算法与由速度预测程序生成的速度极坐标图以及风速预报模型相结合,从而实现了考虑障碍物、风速变化以及船舶自身特性的最优路径规划。Hadi Saoud等人(2015年)提出了一种分层PRM–迪杰斯特拉框架,用于同时进行全局和局部路径规划。他们的方法首先利用概率路线图生成随机航点,然后定义一种基于帆船运动学特征的时间成本函数,再借助迪杰斯特拉算法确定最优路径。
A*算法是一种启发式搜索方法,它通过平衡已知路径成本与预计的未来成本来高效地找出最短路径。Xu Jianyun等人(Xu Jianyun和Hiu,2018年)将A*算法应用于双帆自主帆船,构建了网格地图,并定义了一种新的节点成本函数,该函数优先选择顺风或侧风航行,以此减少转向频率并避免停航。Johannes Langbein等人(2011年)则采用了基于最短到达时间(距离除以最大速度)的启发函数,并动态更新路由图,以便适应环境变化。
蚁群优化算法受到蚂蚁觅食行为的启发,已被广泛用于帆船路径规划。Nian Runda等人(Nian等人,2021年)提出了一种改进型的蚁群优化算法(IACO),他们在启发函数中加入了路径长度、风速高度以及转向频率等因素。通过设置动态阈值和蒸发系数来优化信息素更新规则,进而提升了算法的全局最优性及收敛速度。Shen Zhipeng等人(Zhipeng等人,2023年;Shen等人,2023年)引入了对角优先规则以及自适应步长,以此加快收敛速度,并在全局探索与局部优化之间取得平衡。他们所设计的混合RIACO算法将IACO与滚动窗口方法相结合,用于实时子目标优化。Li Pengfei等人(Li等人,2017年)通过控制实验优化了相关参数(如信息素因子),同时还提出了动态初始化策略,用以解决传统蚁群优化算法中收敛缓慢以及易陷入局部最小值的问题。
势场法通过将环境模拟为虚拟力场,利用吸引力和排斥力来引导机器人移动(Rimon和Koditschek,1992年)。Clément Pêtrès等人(Pêtrès等人,2011年;Ramirez等人,2011年)将禁行区域(如顺风/逆风限制范围)视为虚拟障碍物,并引入了滞后势能,以此减少频繁转向的情况。Frédéric Plumet在2013年和2015年将势场法与视距引导机制相结合,为航点设置吸引力,同时根据速度大小设置排斥力,从而实现更流畅的障碍物规避。Zhao Wentao等人(T Z等人,2024年)将碰撞规避问题转化为航向控制问题,他们使用了与国际海上避碰规则相一致的时空障碍复合势场。Xiang Tianyuan等人(Zhan等人,2015年)提出了一种概率势场方法,该方法结合了风速变化概率,旨在降低复杂环境下的航行时间。Dong Yuqin(2023年)则通过从速度极坐标图衍生出的概率势场对快速随机树算法进行了优化,结果表明,在非均匀风场中,该算法的计算速度更快,生成的路径也更短,相较于A*算法更具优势。
随着人工智能技术的进步,基于强化学习的Q学习等方法也被应用于帆船路径规划领域。Q学习是一种无模型强化学习算法,由Watkins在1989年提出,它通过迭代更新状态-动作Q值来学习最优策略(Sutton和Barto,1998年)。Andouglas Gon?alves da Silva Junior等人(Da Silva Junior等人,2020年)通过设计状态/动作空间以及奖励函数,将Q学习应用于自主帆船。他们的方法加入了惩罚项,用于避免基于航向和风况的禁行区域,但由于假设船舶速度恒定,这一方法的实际应用性存在局限。表1总结了现有自主帆船路径规划算法在特性、优势及局限性方面的对比情况。
强化学习借助“尝试与反馈”机制实现无模型学习,为动态环境中的路径规划提供了一种创新方法。在各类强化学习算法中,作为经典的无模型方法的Q学习,尤其适用于自主帆船的导航任务。它的优点包括无需预先掌握特定知识、能够实现动态策略优化,还能轻松整合自主帆船特有的运动约束条件。正因如此,本研究提出了一种基于Q学习的全球路径规划算法,旨在应对自主帆船在动态海洋环境中所面临的各种挑战。
因此,本研究的创新之处并不在于修改Q学习的更新规则本身,而在于构建了一个针对帆船的特殊规划框架,该框架将Q学习与船舶的运动约束以及以可重复性为导向的评估方法相结合。具体而言,本研究的贡献主要有三点:(1)引入了一种考虑死区的动作过滤策略,明确使用航向与风向之间的最小角度差,以避免因边界问题导致的判断错误;(2)在状态转换与奖励评估中嵌入了拟合得到的最大速度函数,使得规划器更倾向于选择效率更高的航向,而非保持恒定速度行驶;(3)通过路径长度、航行时间以及转向次数等指标进行定量比较,明确了该方法相较于参考文献(Da Silva Junior等人,2020年)的优势与不足。
本文结构如下:第2节全面介绍了Q学习算法,详细阐述了其理论基础、核心组成部分(如状态空间、动作空间和奖励函数),以及其在路径规划问题中的应用前景。第3节将自主帆船独特的运动特性以及各种环境因素融入到Q学习框架之中。具体来说,该算法考虑了可用动作空间、禁行区域、风速与风向、最大速度限制、障碍物以及航行边界等重要要素。这些考量有助于构建出一种能够适应自主帆船运行约束及面临的各种动态挑战的、基于Q学习的路径规划算法。第4节通过大量的仿真实验来验证所提出的算法。通过在不同环境条件下的对比分析及性能评估,证明了该算法的可行性与有效性,结果表明它能够在动态海洋环境中实现安全且高效的路径规划。
章节摘录
Q学习算法简介
Q学习是一种基于马尔可夫决策过程的强化学习算法,由Chris Watkins于1989年提出。它属于无模型强化学习算法。通过智能体与环境之间的交互,可以学习到状态-动作价值函数(Q函数),进而找到能够带来最大长期累积奖励的动作策略与状态。路径规划则是通过寻找具有最大价值函数对应的状态动作来实现的。
基于Q学习的自主帆船路径规划
自主帆船的路径规划属于典型的动态环境决策问题,其核心目标是规划出一条既安全又高效、且符合自主帆船在复杂海洋环境中的运动特性的航行路线。在路径规划过程中,必须充分考虑自主帆船的航行特性与环境因素,包括其最大速度、航行死区、风场变化以及各类障碍物。
仿真验证
为验证基于Q学习的自主帆船路径规划算法的可行性,我们首先搭建了一个“10米×10米”的自主帆船航行区域,并将其划分为精度为0.1米的“100×100”网格,如图5所示;同时还将到达区域的半径设定为0.5米。在本研究中,我们使用沈阳自动化研究所设计的海鸥号自主帆船进行了仿真实验,并为其定义了动作空间A=[?135°,?90°,?45°,0°,45°,90°,135°]。
总结与展望
本研究提出了一种考虑死区且与速度相关的、基于Q学习的自主帆船路径规划方法。该方法并未改变Q学习的更新规则本身,而是根据帆船特有的运动约束,对可行的动作集合、速度模型以及奖励设计进行了优化。通过明确使用航向与风向之间的最小角度差,规划器可以避免在角度边界附近出现死区判断错误。此外,还将拟合得到的最大速度函数嵌入到状态转换评估过程中。
利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益关系或个人关联关系。
致谢
本研究得到了国家自然科学基金委员会(一般项目,编号42276198)、中国科协青年创新促进会(编号2023212)以及国家自然科学基金委员会(项目编号42206197)的支持。
刘凯
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号