GRAFT：基于Grad-CAM和FFT的采样方法，用于高效反馈强化学习

《IEEE Access》：GRAFT: Grad-CAM and FFT-based Sampling for Feedback-Efficient Reinforcement Learning

　　

摘要：

强化学习（RL）智能体在奖励稀少或延迟的稀疏奖励环境中常常面临挑战。人类参与其中的强化学习（HiL-RL）通过利用人类反馈来训练奖励模型，从而在环境奖励不足时提供额外的学习信号，缓解了这一问题。在本研究中，奖励模型被实现为一个基于标记的状态-动作对的反馈神经网络（FNN）。我们提出了RAFT（GRAd-CAM和FFT-based Sampling），这是一种高效的反馈采样框架，能够提升FNN的学习效率。RAFT利用梯度加权类激活映射（Grad-CAM）方差来量化FNN在状态层面的学习进度，从而识别出训练不足或过于自信的状态。然后通过最远优先遍历（FFT）确保反馈采样在状态层面的多样性。一种基于启发式的合成反馈环境提供了一致的二元反馈，使得反馈效率的定量评估成为可能。我们在Atari保龄球和滑雪环境中评估了RAFT的性能，这两种环境都具有奖励稀少和延迟的特点。在保龄球游戏中，RAFT仅使用360个反馈样本就比FRESH取得了更好的性能；在滑雪游戏中，使用2,550个反馈样本相比5,000个样本实现了反馈效率和学习稳定性之间的更好平衡。这些结果表明，RAFT在有限的反馈预算下提高了反馈效率，同时保持了强大的任务性能。总体而言，RAFT展示了基于内部表示的采样方法在HiL-RL中自我评估奖励模型的潜力。