DECHRL：以赋能为驱动、考虑延迟的因果分层强化学习

《Neural Networks》：DECHRL: Empowerment-Driven Delay-Aware Causal Hierarchical Reinforcement Learning

　　摘要
许多现实世界任务存在延迟效应，即行动的后果会在不同时间滞后后才显现。现有的考虑延迟的强化学习方法通常依赖于状态扩展、对延迟分布的先验知识或非延迟数据的利用，这限制了它们的泛化能力。相比之下，分层强化学习因其分层结构而在处理延迟问题时具有固有优势，但现有方法仅限于固定延迟情况。为解决这些局限性，我们提出了基于延迟增强的因果分层强化学习（DECHRL）。DECHRL由两个模块组成：因果延迟分布建模模块和基于延迟增强的分层策略训练模块。前者从延迟交互中学习格兰杰因果关系，后者则利用这些信息来构建和优化分层策略。通过引导智能体探索可控且信息丰富的状态，DECHRL提高了在时间不确定性下的探索效率与决策稳定性。我们在经过修改的2D-Minecraft和MiniGrid环境中测试了DECHRL，这些环境设置了随机延迟，此外还将其应用于低维连续状态下的PointMaze任务。实验结果表明，DECHRL能够有效建模因果延迟分布，并在时间不确定性条件下显著优于基线方法。PointMaze任务的测试结果进一步证明了所提出的基于延迟的因果建模机制在具有随机延迟转换的低维连续导航任务中的适用性。

引言
在现实世界的决策场景中，决策的后果往往不会立即显现，而是会在一段时间后的多个后续步骤中逐步出现，这种现象被称为延迟效应。如果不考虑这种延迟效应，传统的强化学习方法通常假设状态-动作对之间会立即发生转换（Sutton等人，1999）。这种过度简化可能导致强化学习中的奖励分配出现错误，从而产生与延迟相关的偏差，进而影响其在需要考虑延迟的现实世界环境中的应用。

近年来，在构建考虑延迟的强化学习（DARL）框架方面取得了显著进展，这些方法大致可分为三类。第一类是基于记忆的方法，它们通过向当前状态添加历史轨迹信息来减轻延迟状态转换的影响（Agarwal和Aggarwal，2021；Bouteiller等人，2020；Han等人，2021；Karamzade等人，2024；Nath等人，2021），但随着环境中最大延迟时间的增加，扩展后的状态空间复杂度也会大幅上升。第二类是基于先验知识的方法，它们利用已知的恒定延迟或延迟分布来确定真正能触发状态转换的有效动作（Schuitema等人，2010；Yu等人，2024），但这些方法依赖特定领域的先验知识，限制了其泛化能力。第三类是借助外部信息的方法，它们依靠离线收集的非延迟数据，通常是非延迟的专家示范，来为训练提供指导（Liotet等人，2022；Wang等人，2024）。然而，这类方法对特定环境的依赖也限制了其泛化能力。目前，尚无方法能够直接建模环境延迟的随机特性，从而真正让智能体具备在未知环境中进行探索的能力。

分层强化学习（HRL）对延迟效应具有固有的鲁棒性。基于目标的HRL（Levy等人，2017）将控制过程分解为高层子目标选择和底层执行，通过降低高层策略的决策频率来减轻底层延迟的影响；而基于选项的HRL（Bacon等人，2017；Kim等人，2023）则通过学习到的选项终止函数来处理随机延迟。不过，这些方法缺乏对细微动态的显式建模，限制了它们以可解释的方式理解延迟的能力。最近的因果HRL（CHRL）方法（Hu等人，2022；Zhao等人，2026）通过结构因果模型（Peters等人，2017）揭示潜在的因果层次结构，为在延迟信号下的稳健规划提供了更合理的框架。然而，这些方法仍受限于固定延迟，因此在具有随机延迟的现实世界场景中效果不佳。

为应对这些挑战，我们提出了一种名为基于延迟增强的因果分层强化学习（DECHRL）的新方法，它是首个能够感知随机延迟的CHRL框架。具体而言，DECHRL包含两个关键组成部分：（1）因果延迟分布建模模块，该模块从延迟交互数据中推断环境中的格兰杰因果关系并估计随机延迟分布，为策略学习提供基于延迟的结构化信息；（2）基于延迟增强的分层策略训练模块，该模块根据推断出的因果结构和延迟分布来构建和优化分层策略。通过将基于延迟的增强机制引入策略优化，该模块能够在延迟反馈下引导智能体走向可控且信息丰富的状态，从而提高探索效率与决策稳定性。

总体而言，DECHRL为在未知的随机延迟环境下进行强化学习提供了一种原理性的方法。它使智能体能够在行动效果存在时间错位且延迟特性事先未知的环境中学习到有效且稳健的策略。通过同时赋予智能体推断延迟结构的能力以及在不确定性下有针对性地探索的能力，DECHRL实现了在真实延迟环境中的自适应策略学习。为进一步提升实际应用性，我们还提出了DECHRL的两种变体：简化版DECHRL，它通过使用粗粒度的延迟表示来提高可扩展性；以及连续版DECHRL，它将该框架扩展到具有实值状态和动作的低维连续领域。这两种变体共同降低了计算成本，并拓宽了DECHRL在连续延迟控制任务中的应用范围。

我们的贡献可总结如下：
•据我们所知，这是首次尝试将随机延迟建模整合到CHRL框架中，展示了因果层次结构如何天然捕捉延迟的时间依赖性。这使得智能体能够在不确定性条件下判断行动何时生效，并将高层决策与时间上错位的底层结果相协调，而这些能力对于在现实世界的延迟环境中实现稳健的策略学习至关重要。
•我们提出了DECHRL，这是一种适用于随机延迟环境的因果分层强化学习框架。DECHRL能够从延迟交互中建模因果延迟信息，并将其纳入基于延迟增强的分层策略学习中。这有助于在行动效果存在时间错位且延迟特性未知的情况下实现更有效的探索和更稳定的决策。
•我们在经过修改的2D-Minecraft（Sohn等人，2018）和MiniGrid（Chevalier-Boisvert等人，2023）这两个具有随机动作延迟的结构化长时域基准任务上对DECHRL进行了实证评估，此外还包含了具有实值状态和动作的低维连续状态PointMaze（Fu等人，2020）任务。这些任务反映了DECHRL的预期应用范围：具有结构化或可分解状态变量的随机延迟决策问题，其中因果延迟分布能够支持有意义的时间抽象。在τmax∈{4, 8}且σdelay∈{0.4, 0.6, 0.8, 1.0}的参数范围内，DECHRL始终优于各类代表性基线方法，而PointMaze任务的测试结果进一步证明了其在离散符号环境之外的适用性。简化版DECHRL通过粗粒度的延迟表示提升了可扩展性，即使在τmax=30的情况下，它在2D-Minecraft任务中也能保持强劲性能。总体而言，这些结果表明DECHRL能够从延迟交互中学习因果延迟分布，从而在随机时间错位的情况下支持基于延迟的分层策略学习。

片段摘录
考虑延迟的强化学习
在考虑延迟的强化学习（DARL）领域已经取得了显著进展，现有方法通常可分为三类：
（1）基于记忆的方法。这类方法通过向当前状态添加历史轨迹信息（Agarwal和Aggarwal，2021；Bouteiller等人，2020；Han等人，2021；Nath等人，2021）来减轻延迟的影响。实现方式可以是将过去K步的观测值和动作值拼接起来，或者使用模型来推断当前状态。

初步概念
现实世界中的状态转换往往持续时间不同，且可能在时间上有所重叠，但彼此之间并不干扰。至关重要的是，这些转换并非随意产生，而是遵循一定的因果规律。这一特点促使人们将它们建模为跨越多个时间步的延时因果关联，这种建模方式既符合原理又具有表达力。在本节中，我们首先介绍格兰杰因果关系，这是一种常用的概念，用于描述预测性因果关系。

方法
本节介绍了DECHRL，这是一种CHRL框架，它通过推断延迟分布和因果依赖关系来提升分层策略学习中的延迟感知型探索效率。如图1所示，DECHRL由两个主要模块及四个子模块组成。因果延迟分布建模模块包括多时间尺度因果发现和延迟分布估计功能，前者用于发现跨时间尺度的因果依赖关系，后者则用于估计每条因果边对应的延迟分布。

环境设置与任务
我们在2D-Minecraft（Sohn等人，2018）、MiniGrid（Chevalier-Boisvert等人，2023）以及PointMaze（Fu等人，2020）这三个任务上进行测试，这些任务涵盖了离散符号决策和连续导航两类场景。具体任务包括2D-Minecraft中的获取银矿（T1）和获取铁矿（T2），MiniGrid中的火生火（T3）和木头变湿（T4），以及PointMaze导航任务（T5）。我们以获取铁矿和PointMaze任务作为典型示例。在获取铁矿任务中，智能体需要收集木头和石头，制作棍棒，进而打造石斧。

结论
现有的考虑延迟的强化学习方法往往依赖于状态扩展、先验延迟知识或非延迟数据，这限制了它们的可扩展性和泛化能力。尽管分层强化学习通过时间抽象为处理延迟提供了自然途径，但现有方法大多仅适用于固定延迟场景。为应对随机延迟问题，我们提出了DECHRL，该方法通过多时间尺度因果发现来建模因果延迟分布，并利用这些分布来指导基于延迟增强的分层策略学习。