基于课程学习与内在好奇心增强的时间PPO框架用于无地图自主导航

《Sensors》：CLI-PPO: A Memory-Augmented PPO Framework with Intrinsic Curiosity and Curriculum Learning for Mapless Multi-Obstacle Navigation

　　

摘要

由于感知受限、奖励稀疏以及训练与部署场景之间的分布偏移，无地图自主导航在未知多障碍物环境中对于深度强化学习而言仍然具有挑战性。现有方法主要依赖于瞬时观测或个别增强策略，这往往难以平衡探索的鲁棒性和导航效率。本文提出了一种基于课程学习和内在好奇心增强的时间近端策略优化框架，称为 CLI-PPO，用于端到端自主导航。该框架将时间状态表示、内在探索和渐进式任务调度集成到 PPO 中，其中 LSTM 网络提高了部分可观测性下的序列决策能力，内在好奇心模块增强了在陌生区域的探索，课程学习通过逐步增加任务难度来稳定策略优化。为策略训练设计了一种结合目标引导、障碍物规避和探索激励的混合奖励函数。实验采用消融配置、三个独立的训练种子以及相应任务协议下对一个 SAC 策略的评估进行，每个障碍物密度级别下考虑了 5000 次随机回合。CLI-PPO 取得了 66.24% 的成功率、33.58% 的碰撞率和 3433.14 的平均回报，而 PPO 分别为 46.06%、53.94% 和 2083.21。在 10 个障碍物的设置中，三个训练种子产生的 CLI-PPO 成功率为 ，平均回报为 ，而 PPO+ICM+Curriculum 取得了 的成功率，以及略高的欧几里得参考 SPL。随着障碍物密度的增加，PPO+ICM+Curriculum 保持了更高的成功率和 SPL，而 CLI-PPO 则产生了更高的回报，并在多次训练运行中表现出更一致的性能。