MITLIR：一种基于仿真的奖励 shaping 方法，用于自动驾驶场景中的地图循环（Map in the Loop）

《IEEE Open Journal of Intelligent Transportation Systems》：MITLIR: An Imitation-based Reward Shaping Method in Autonomous Driving Scenarios through Map in the Loop

　　

摘要：

强化学习（RL）具有巨大的决策潜力，然而其在自动驾驶中相对于模仿学习（IL）的优势并不明显，这主要是由于缺乏人类的先验知识，这通常会导致“冷启动”问题。为了解决这个问题，出现了“人在回路中”（HITL）的方法，该方法将人类专家纳入代理训练过程中以促进策略的收敛。然而，传统的HITL方法严重依赖于实时的人类监督，而人类设计的奖励函数中的不确定性对RL的广泛应用构成了重大限制。为了克服这些挑战，本文提出了一种新颖的基于模仿的奖励 shaping 方法（MITLIR）。在这种方法中，基于高清晰度（HD）地图的导航算法作为专家策略，从而降低了人力成本。该方法借鉴了模仿学习的思想，利用专家的行为来定义专家行为与代理行为之间的损失，该损失随后被用作强化学习中的奖励信号。主要贡献如下：（1）这种奖励 shaping 方式仅需要专家提供明确的低级行为输出，而不依赖于从人类经验中得出的语义解释，从而为代理提供了实时的、富含梯度的反馈。（2）它鼓励代理模仿专家策略，并通过HITL行为干预有效缓解了RL的冷启动问题。（3）我们检验了该方法对探索性策略的适应性及其与稀疏奖励的集成，以及其与持续训练中的微调的兼容性。（4）我们使用相同的策略网络和损失函数，在噪声条件下证明了其相对于交互式模仿学习算法的鲁棒性。