通过双向转换学习鲁棒表示，用于视觉强化学习

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Learning Robust Representations via Bidirectional Transition for Visual Reinforcement Learning

针对视觉强化学习高维观测表征不稳定的难题，提出双向过渡（BT）框架，通过正反环境过渡预测和逆动态模型，提升表征可靠性及泛化性能，在机器人、自动驾驶等仿真平台验证有效。

　　

摘要

视觉强化学习在解决具有高维观测特征的控制任务中表现出有效性。然而，从基于视觉的观测中提取出可靠且可泛化的表示仍然是一个核心挑战。受到人类思维过程的启发，当从观测中提取的视觉表示能够预测未来并追溯历史时，该表示在理解环境状态方面是可靠且准确的。基于这一概念，我们提出了一个双向转换（BT）框架用于表示学习。该框架利用前向和后向环境转换的双向预测作为辅助任务来提取可靠的表示。此外，我们还引入了一个逆向动态模型来预测导致环境状态转换的动作，从而学习状态表示与任务的相关性。我们的方法在DeepMind Control套件的两个场景中展示了具有竞争力的泛化性能和样本效率。此外，我们还利用机器人操控模拟器、自动驾驶模拟器CARLA以及视觉导航模拟器Habitat来证明我们方法的广泛适用性。结果表明，BT框架能够提供更稳定、更可靠的表示，并在视觉强化学习任务中展现出强大的泛化性能。