具有元强化学习功能的社会意识机器人导航：一个场论视角

《IEEE Transactions on Cognitive and Developmental Systems》：Socially-aware Robot Navigation with Meta Reinforcement Learning: A Field-theory Perspective

针对社会机器人导航中环境多样性和复杂性导致的泛化能力不足问题，本文提出基于元强化学习的框架，结合社会规范引导与场建模技术，利用历史行人数据训练生成运动矢量场，并通过预测与实际状态的相似性优化奖励函数，仿真验证了方法在提升社会导航能力方面的有效性，代码已开源。

　　

摘要：

在室内环境中，社交机器人的导航面临诸多障碍和动态变化，这构成了一个重大且复杂的挑战。强化学习（RL）是一种解决这一问题的有效方法。然而，这类环境的主要特征——即多样性和复杂性——对基于RL的社交机器人导航系统的泛化能力提出了严峻考验。在本文中，我们提出了一种用于社交机器人导航的元强化学习框架，使机器人能够适应各种环境。此外，我们首次引入了利用社会规范来指导社交导航的概念。我们采用场建模来表示环境、行人和机器人之间的互动。历史行人运动数据被用作物理信息神经网络的训练输入，这些神经网络能够生成环境中的行人运动矢量场。随后，我们将机器人预测的运动状态与其实际运动状态之间的相似性纳入奖励函数中，从而引导机器人的学习过程符合社会规范。仿真结果表明，我们提出的方法提升了机器人的社交导航能力。我们的方法代码可公开获取，链接为：https://github.com/SiyiLoo/MetaRlNav-FTI。