利用Transformer学习因果感知的探索方法，以实现目标导向的导航

《ACM Transactions on Intelligent Systems and Technology》：Learning Causality-Aware Exploration with Transformers for Goal-Oriented Navigation

基于导航任务特性提出因果感知Transformer（CAT），通过因果理解模块解决传统序列模型在导航中的环境理解不足和泛化性差问题，实验证明在多个基准数据集上显著优于现有方法，且具有强鲁棒性和跨场景泛化能力。

　　

摘要

在具身人工智能（Embodied AI）的研究中，导航是一项基础任务。近年来，机器学习算法的进步激发了人们对开发多功能具身AI系统的兴趣。然而，当前在这一领域的研究仍存在改进的空间。首先，循环神经网络（RNNs）和变换器（Transformers）的直接应用往往忽视了导航任务与传统序列数据建模之间的显著差异。这些方法本质上旨在捕捉长期依赖关系，但在导航场景中这种依赖关系相对较弱，可能会限制其在导航任务中的表现。其次，对任务特定配置（如预训练模块和数据集特定逻辑）的依赖降低了这些方法的泛化能力。为了解决这些问题，我们首先从因果关系的角度探讨了导航任务与其他序列数据任务之间的独特差异，提出了一个因果框架来阐明传统序列方法在导航任务中的不足之处。通过这种因果视角，我们提出了基于因果理解的变换器网络（Causality-Aware Transformer, CAT）用于导航，该网络包含一个因果理解模块以增强模型的环境感知能力。同时，我们的方法避免了任务特定的归纳偏差，并可以采用端到端（End-to-End）的方式进行训练，从而提高了其在不同情境下的泛化能力。实证评估表明，我们的方法在多种设置、任务和仿真环境中始终优于基准性能，特别是在RoboTHOR中的物体导航、目标导航、栖息地中的点导航以及R2R导航任务中。广泛的消融实验表明，性能提升主要归功于因果理解模块，该模块在强化学习和监督学习环境中都展现了有效性和高效性。此外，进一步分析还突显了我们方法的鲁棒性，证明其在不同实验设置和变化条件下都能保持良好的表现。这种鲁棒性凸显了我们方法的适应性和泛化能力，进一步增强了其在广泛任务中的应用潜力。