基于扩散模型(diffusion model)与对抗逆强化学习(adversarial inverse reinforcement learning, AIRL)的无人水面艇(unmanned surface vehicle, USV)避碰方法

《Engineering Applications of Artificial Intelligence》:Collision avoidance for unmanned surface vehicles via adversarial inverse reinforcement learning with diffusion model

【字体: 大 中 小 】 时间:2026年01月16日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  摘要:近年来,利用深度强化学习(deep reinforcement learning, DRL)解决无人水面艇(unmanned surface vehicle, USV)避碰(collision avoidance, COLAV)问题受到广泛研究。然而此类

  
摘要:近年来,利用深度强化学习(deep reinforcement learning, DRL)解决无人水面艇(unmanned surface vehicle, USV)避碰(collision avoidance, COLAV)问题受到广泛研究。然而此类方法的性能常受限于需人工设计奖励函数(reward function),导致在多样化海上场景中泛化能力不足。针对此问题,研究人员提出了一种无显式奖励函数的USV避碰方法,将对抗逆强化学习(adversarial inverse reinforcement learning, AIRL)与扩散模型(diffusion model)相融合。首先基于专家航行数据训练扩散模型并进行数据增强(data augmentation),生成多样化且具信息量的轨迹样本;将增强样本与原始数据共同构建混合数据集用于训练AIRL框架,其中策略生成器(policy generator)通过柔性行动者-评论家(soft actor–critic, SAC)算法优化。所提方法在今津问题(Imazu problem)及多种随机生成的多船环境中进行评估,相比AIRL、生成式对抗模仿学习(generative adversarial imitation learning, GAIL)、稳定AIRL(stable AIRL)、人工势场法(artificial potential field, APF)方法、深度确定性策略梯度(deep deterministic policy gradient, DDPG)及SAC均取得更优性能。此外,研究人员开展了实船实验以验证该算法在实际USV作业中的有效性与鲁棒性。本研究为开发USV自主智能决策系统提供了新思路与理论基础。
论文解读:基于扩散模型与对抗逆强化学习的无人水面艇避碰方法研究
该研究发表于《Engineering Applications of Artificial Intelligence》。无人水面艇(unmanned surface vehicle, USV)因高效自主与灵活性广泛应用于水质监测、集群作业及海上搜救等领域,但在任务中常遭遇以目标船(target ship, TS)为代表的动态障碍物,需具备快速选取决策实现避碰(collision avoidance, COLAV)的能力。传统局部路径规划算法(如速度障碍法velocity obstacle, VO、快速随机树rapidly-exploring random tree, RRT、动态防撞A*及改进人工势场法artificial potential field, APF)虽有一定效果,但规划路径易受USV自身动力学特性影响而不可行。深度强化学习(deep reinforcement learning, DRL)为解决COLAV提供了新途径,可兼顾环境与动态约束,然而现有DRL方法严重依赖精心设计的奖励函数(reward function),需综合最近会遇距离(closest point of approach, CPA)、最短会遇时间(time to closest point of approach, TCPA)及国际海上避碰规则(International Regulations for Preventing Collisions at Sea, COLREGs)等多因素,设计难度大且泛化性差。相比之下,从专家示教数据中学习策略更为可行。生成式对抗模仿学习(generative adversarial imitation learning, GAIL)可从示教复现人类决策,对抗逆强化学习(adversarial inverse reinforcement learning, AIRL)则能从专家数据中恢复隐含奖励函数并训练策略使其逼近专家行为,但AIRL受限于专家样本量少(真实COLAV数据难获取)及GAN训练不稳定等问题。为此,研究人员提出融合扩散模型(diffusion model)与AIRL的DAIRL(Diffusion-AIRL)框架,直接从专家避碰数据中学习神经网络策略而无需手工设计奖励函数,并利用扩散模型生成数据缓解专家样本不足,最终通过仿真与实船实验验证算法有效性。
为开展本研究,研究人员采用以下关键技术方法:专家避碰数据由预训练SAC算法模型在仿真环境中生成;使用扩散模型对专家轨迹进行数据增强,生成扩充样本并与原始数据组成混合训练集;以AIRL为框架,判别器(discriminator)区分生成数据与专家数据,策略生成器(policy generator)采用软性行动者-评论家(soft actor–critic, SAC)算法优化,从恢复的隐含奖励函数中学习使策略趋近专家行为;在Imazu问题及随机多船相遇场景中进行仿真对比实验,并在实船交叉-直航(crossing-standing)、交叉-让路(crossing-giving)、对遇(head-on)、追越(overtaking)及多船场景下完成验证。
Problem definition
研究人员将USV动态避碰问题建模为马尔可夫决策过程(Markov decision process, MDP),本船(own ship, OS)为受外力与力矩作用的三自由度刚体,在含多移动障碍物海域中生成控制动作序列以实现避碰并保持有效航行。
Adversarial inverse reinforcement learning
AIRL通过对抗训练从专家COLAV数据ρdataE中恢复隐含奖励函数R(s,a)=log(1?D(s,a))?log(D(s,a))及策略。判别器D(s,a)=efθ(s,a)/(efθ(s,a)+π(a|s)),其中fθ(s,a)=gθ(s)+γhθ(T(s,a))?hθ(s),θ为网络参数,T(s,a)=s′为状态转移模型,策略生成器通过标准RL算法基于恢复出的R(s,a)训练以对齐专家策略。
Principles of DAIRL
DAIRL算法结构含数据增强、判别器与生成器更新三模块。先用扩散模型学习专家导航数据分布并生成新轨迹样本,与原专家数据构成混合数据集训练判别器;判别器区分生成数据与专家数据,生成器策略经SAC在AIRL框架下依隐含奖励迭代优化,从而缓解专家COLAV样本稀缺导致的AIRL性能下降问题。
Train of DAIRL
由于真实USV避碰训练数据集尚缺,研究人员参照Higaki和Hashimoto(2023)方法,在仿真环境中用预训练SAC模型生成专家避碰示教数据;该SAC模型仅用于生成专家示教,所提DAIRL方法无需手工奖励函数,直接基于混合数据集训练。
Conclusion / 研究结果总结
仿真实验表明,DAIRL在Imazu问题及随机多船环境中,避碰成功率、航行效率等指标优于AIRL、GAIL、stable AIRL、APF、DDPG及SAC基线方法;实船实验涵盖交叉直航、交叉让路、对遇、追越及多船场景,验证了算法在实际USV作业中的有效性与鲁棒性。研究人员得出结论:所提DAIRL框架通过扩散模型增强专家数据并结合AIRL从示教中学习策略,有效克服了DRL中奖励函数设计困难与专家样本不足两大瓶颈,为USV自主智能决策系统的开发提供了新颖解决方案与理论依据。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号