J-Mac：雅可比矩阵与伪装对比学习相结合，提升强化学习中的泛化能力

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：J-Mac: Jacobian Matrix Meets Masked Contrastive Learning for Generalization in Reinforcement Learning

J-Mac通过Jacobian矩阵关联视觉状态动态，结合掩码对比学习消除无关特征，有效提升强化学习在视觉任务中的跨环境泛化能力，实验验证优于现有方法。

　　

摘要：

在将强化学习（RL）算法应用于基于视觉的任务时，训练环境与实际工作环境之间的显著差异对其泛化能力构成了挑战。虽然之前的方法可以提高基础RL算法的泛化能力，但它们通常仅适用于训练环境与工作环境之间变化较小的情况。在本文中，我们提出了一种名为“雅可比矩阵与掩蔽对比学习”（J-Mac）的有效辅助任务，该任务旨在即使在训练环境与工作环境之间存在显著差异时，也能提升基础RL算法的泛化能力。具体而言，我们通过动态学习来理解视觉状态之间的关联；在此基础上，我们利用掩蔽对比学习方法去除视觉状态表示中与任务无关的特征。大量实验表明，我们的方法显著提高了各种基础RL算法的泛化能力，在不同的基于视觉的基准测试中均优于其他最先进的方法。