基于决策Transformer的潜在规划长时程决策

《Neural Networks》：Long-Horizon Decision Making via Latent Planning in Decision Transformers

　　

摘要

决策 Transformer（DTs）通过序列建模解决决策问题，并取得了令人惊讶的强大结果。然而，由于规划能力较差，DTs 在长时程任务中仍然存在困难。已有研究表明，子目标预测有助于引导 DTs 在复杂和长时程任务中的决策。然而，通过子目标预测进行显式规划存在次优性、低效率和不确定性问题。在本文中，我们提出了 DT-Pro，它是 DT 的一个变体，通过在序列建模中集成一个自然的隐式规划步骤来增强其规划能力。与通过子目标预测进行显式规划相比，隐式规划通过从结构化计划空间中推断潜在计划来实现。通过这种方式，DT-Pro 能够以仅增加少量计算成本的方式实现高质量的自适应计划生成和高效的逐步重新规划。大量实验结果表明，DT-Pro 在各种广泛使用的控制和导航基准测试中均表现出强大的性能。

引言

离线强化学习从固定数据集学习策略，而不与环境交互。这种设置面临诸如价值高估和不可控误差传播等根本性挑战。近年来，决策 Transformer（Chen et al., 2021）和轨迹 Transformer（Janner et al., 2021）等序列建模方法作为离线强化学习的替代解决方案应运而生。例如，DT 构建了未来收益（RTGs）、状态和动作的序列，并利用 Transformer 以自回归方式预测动作。DT 已在各种决策任务中证明其有效性，展示了其在许多实际应用中的潜力。

尽管具有优势，但 DT 在长时程任务中面临几个主要局限性。首先，DT 仅基于历史序列预测下一个动作，这往往导致短视策略。换句话说，自回归架构本质上限制了其规划能力。其次，DT 严重依赖专家轨迹来学习良好策略，而专家轨迹在长时程任务中往往稀疏，因为随着时程长度的增长，成功率往往会急剧下降。第三，由于模型长度相对较短，DT 难以捕捉长序列的完整上下文。因此，提高 DT 的规划能力是一项迫切但非平凡的任务。

最近，DT 的若干变体试图通过将未来信息纳入序列建模来提高其预见性。例如，ADT 预测 k 步之后的子目标，并基于子目标条件化动作预测（Ma et al., 2023）。类似地，Waypoint-Transformer 引入路标作为子目标来提高次优轨迹的利用率（Badrinath et al., 2023b）。然而，子目标和路标都是从未来信息中手动选择的，这仅反映了未来计划的部分和次优信息。PDT 利用未来轨迹的编码来辅助当前动作预测（Xie et al., 2023）。尽管如此，PDT 简单地编码整个未来轨迹，其中包含大量噪声和不相关信息，可能会误导当前决策。总体而言，这些工作表明未来信息确实有助于 DT 实现长期目标，但它们对未来信息的建模和利用不够充分，因此可能导致次优甚至有害的未来计划。

在本文中，我们提出了 DT-Pro，一个新颖的序列建模框架，旨在提高 DT 的规划能力，同时保持其效率。DT-Pro 的核心思想是将 DT 的动作预测条件化于未来计划的信息丰富的潜在表示之上，从而使其具有主动性。DT-Pro 的整体框架由三个模块组成。首先，计划搜索模块通过前瞻轨迹中的关键子目标来为任何给定状态搜索未来计划。关键子目标基于衰减的未来收益（RTGs）进行选择，可被视为计划中的重要里程碑。其次，计划编码模块学习一个紧凑的潜在空间来表示计划。该模块包含一个简单的计划编码器和基于 Transformer 的计划解码器，它们通过在对数正则化下自回归地预测下一个关键子目标进行训练。最后，动作预测模块基于从计划编码器推断的潜在计划生成主动动作。需要注意的是，DT-Pro 在测试时不需要计划解码，这允许仅通过一步推理实现高效的逐步重新规划。

与 DT 不同，DT-Pro 采用两阶段训练过程。在第一阶段，利用计划搜索模块找到的关键子目标序列联合训练计划编码器和解码器。在第二阶段，在冻结计划编码器的情况下训练基于计划条件的 DT 策略。

我们的核心贡献如下。

• •
  我们提出了 DT-Pro，一种 DT 的新颖变体，通过引入一种高效有效的隐式规划机制显著增强了其规划能力。
• •
  我们开发了一种新颖的基于 RTG 的计划搜索算法，以自动发现关键子目标，这显著提高了未来计划的优化程度。我们还展示了我们的计划搜索算法可以轻松扩展到稀疏奖励环境。
• •
  我们提出了一种计划编码框架，旨在学习一个结构化的潜在计划空间，这使每个时间步都能快速推断信息丰富的潜在计划。我们表明，计划的潜在表示也提高了策略对状态噪声的鲁棒性。
• •
  我们进行了大量实验，证明 DT-Pro 在多个广泛使用的控制和导航基准测试中，相较于离线强化学习方法和 DT 的最新变体均表现出优越的性能。

章节摘要

离线强化学习

考虑一个由元组 $M=(\mathcal{S},\mathcal{A},P,r,\gamma )$ 定义的马尔可夫决策过程（MDP），其中 $\mathcal{S}$ 和 $\mathcal{A}$ 是状态空间和动作空间，P 是转移函数，r 是奖励函数，γ ∈ [0, 1] 是折扣因子。在在线强化学习设置中，智能体通过与环境交互生成轨迹 $\tau =(S_0,a_0,r_0,?,S_T,a_T,r_T)$，从中学习一个最大化期望回报的策略 π：${\mathbb{E}}^{\pi }\left[{\sum }_{t=0}^T{\gamma }^t{r}_t\right].$ 在离线强化学习设置中，智能体从固定数据集 $\mathcal{D}={\left\{{\tau }_i\right\}}_{i=1}^n$ 中学习，该数据集由已收集的

作为序列建模问题的离线强化学习

离线强化学习方法在 Q 值估计和防止误差传播方面面临根本性挑战。近年来，基于 Transformer 的强化学习方法引起了越来越多的关注。例如，Q-Transformer（Chebotar et al., 2023）将基于价值的强化学习公式化为对离散化动作箱的自回归 Q 值预测。与此同时，序列建模方法，如 DT，作为离线强化学习的替代解决方案应运而生（Chen, Lu, Rajeswaran, Lee,

方法论

在本节中，我们介绍了 DT-Pro，一种新颖的决策序列建模框架，该框架增强了 DT 在长时程任务中的规划能力和效率。DT-Pro 引入了一种隐式规划机制，在动作生成之前从预训练的计划编码器中推断潜在计划。具体而言，DT-Pro 由三个关键组件组成：计划搜索模块、计划编码模块和动作预测模块。此外，DT-Pro 采用两阶段训练方案以

实验

在本节中，我们从三个方面进行了全面实验来评估 DT-Pro：整体性能、模块有效性和超参数敏感性。具体而言，我们首先在基准任务上将 DT-Pro 与一组强基线进行比较，以验证其整体有效性。然后我们进行消融研究以评估关键组件的贡献。最后，为了更好地理解设计选择，我们进一步分析了子目标数量对

结论

决策 Transformer 是一种简单有效的离线强化学习方法。然而，现有方法往往导致短视策略。在本研究中，我们介绍了 DT-Pro，一个旨在用于 DT 的序列建模新颖框架，具有简单但强大的隐式规划机制。通过集成计划搜索模块来识别关键子目标、计划编码模块来创建紧凑的潜在计划表示，以及动作预测模块来生成

伦理声明

本研究严格遵守 IJCAI 的研究诚信标准和相伦理原则。实验中使用的所有数据集均按照法规获取，充分尊重数据隐私、版权和知情同意权。在研究过程中采取了必要措施以最小化潜在的社会危害，包括避免安全风险、歧视和偏见，确保研究成果的负责任应用。

CRediT 作者贡献声明

曾阳王：撰写 – 原稿。甘其睿：数据整理。曾一然：调查研究。张新志：形式分析。蒋九川：指导。蔡毅：撰写 – 审阅与编辑，指导。陈俊英：软件。赵梦辰：撰写 – 审阅与编辑，方法论，概念化。

利益冲突声明

作者声明他们没有已知的可能影响本论文所述工作的竞争性经济利益或个人关系。

曾阳王|甘其睿|曾一然|张新志|蒋九川|蔡毅|陈俊英|赵梦辰