摘要
离线强化学习无需与环境进行实时交互，即可从预先收集的轨迹中学习策略，因此非常适合成本高昂且对安全性要求极高的控制应用。然而，离线训练数据集可能会出现观测数据损坏的问题，而实际部署的智能体则可能面临观测延迟，从而导致轨迹信息失真，以及可用观测数据与当前动作之间出现不一致。为解决这一系列问题，本文提出了观测数据恢复与信念整合变换器（ORBIT），这是一种强大的离线强化学习算法，它结合了基于扩散模型的观测数据恢复技术以及考虑延迟的基于信念的决策机制。ORBIT首先通过观测数据恢复模块（ORM）利用局部时间一致性来识别并选择性地恢复有问题的观测数据，随后再通过考虑延迟的信念决策变换器（DBDT）从延迟的观测数据、历史动作、以往获得的奖励以及延迟步的信息中推断出对决策有用的信息。这些推断出的信念表示会与延迟观测数据特征相结合，进而输入到决策变换器结构中用于预测动作。在D4RL MuJoCo任务上的实验表明，在没有延迟且观测数据损坏的情况下，ORBIT的平均标准化得分可达32.1，相比决策变换器（DT）和强大决策变换器（RDT）分别高出52.9%和43.9%。而在存在对抗性数据损坏且观测数据延迟固定的情况下，ORBIT的得分仍为15.8，同样优于延迟变换器信念策略约束离线强化学习（DT-CORL）和RDT。
