梯度塑形与探索噪声初始化,而非奖励极性,决定用于自主四旋翼导航与避障的深度强化学习的收敛性
《Drones》:Shaping Gradient and Exploration-Noise Initialization, Not Reward Polarity, Determine Convergence in Deep Reinforcement Learning for Autonomous Quadrotor Navigation and Obstacle Avoidance
【字体:
大
中
小
】
时间:2026年08月29日
来源:Drones 5.2
编辑推荐:
摘要
本文提出了一种系统性的奖励工程方法,用于在Webots模拟器中训练基于近端策略优化(PPO)的四旋翼飞行器导航策略,采用分层架构,其中PID控制器负责底层稳定控制,PPO策略输出速度指令。我们记录了复合十项奖励函数在七个版本(v5至v11)之间的完整
摘要
本文提出了一种系统性的奖励工程方法,用于在Webots模拟器中训练基于近端策略优化(PPO)的四旋翼飞行器导航策略,采用分层架构,其中PID控制器负责底层稳定控制,PPO策略输出速度指令。我们记录了复合十项奖励函数在七个版本(v5至v11)之间的完整演变过程,并对关键版本使用多个独立训练种子进行了重新训练。多种子研究修正了单种子历史结论:以惩罚为主导的配置(v8、v10)在所有种子中均失败,而历史上最强的版本表现出种子敏感性(v11:32.2 ± 15.8%)。一项消融实验从v11中移除连续距离塑形项后,在七个种子中均得到0%的成功率,表明该术语是收敛所必需的。我们进一步分离出一个此前隐藏的共同因素:在使用库默认的探索噪声初始化(sigma_0 = 1.0)时,采样动作会饱和有界动作空间,探索方差无法获得学习梯度,导致课程学习进度无论奖励设计如何均陷入死锁;将sigma_0初始化为0.37可恢复梯度流动。在该修正和确定性评估门控课程学习的基础上,最终配置在完整课程中而非单一操作点进行评价:在五个独立训练种子和确定性协议下,其在第0阶段条件下(2米目标,无障碍物)达到95.0% ± 6.2%的导航成功率,第1阶段条件下(4米,一个障碍物)达到89.6% ± 6.9%,第2阶段条件下(7米,三个障碍物)达到48.4% ± 10.8%。报告这一难度曲线而非单一头条数值,揭示了一个显著的泛化差距,其主导失败模式为障碍物碰撞(第2阶段中45–52%的回合发生碰撞)。在相同奖励和课程条件下对软演员-评论家(SAC)和TD3基线进行匹配重新训练,每个基线各完成一个种子,两种基线均表现出非单调的难度曲线:在第2阶段条件下,TD3(64.0%)超过PPO(48.4% ± 10.8%),而SAC(43.0%)略低于PPO;但在第0阶段,PPO(95.0%)领先于两者。因此,基于当前单种子证据,排名取决于操作点。我们得出结论,连续塑形梯度与探索噪声初始化之间的交互作用,以及课程学习推进标准,决定了连续控制深度强化学习中的收敛性,而单纯的奖励极性并不能决定收敛。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号