TG-MG：基于MDP图的多任务强化学习任务分组方法

《Expert Systems with Applications》：TG-MG: Task Grouping based on MDP Graph for Multi-Task Reinforcement Learning

　　潘睿|袁泉|罗贵阳|傅晓远|刘志权|李静林
中国北京邮电大学网络与交换技术国家重点实验室，北京100876

**摘要**
多任务强化学习旨在同时学习多个任务，从而实现比单独学习更高的样本效率。然而，简单地将多个任务组合起来进行训练可能会导致负面知识迁移。考虑到不兼容任务之间的竞争与干扰，在同时训练多个任务之前，识别哪些任务可以相互受益是一个重要且紧迫的挑战。因此，已经提出了许多任务分组方法，但这些方法的可扩展性仍存在局限，而在多任务强化学习领域，任务分组方法尚未得到充分研究。现有方法并未考虑强化学习任务的固有特性。为克服这些挑战，我们提出了一种基于MDP图的任务分组新方法——TG-MG。具体而言，TG-MG采用两阶段任务分组框架：（1）构建异构MDP图以捕捉任务间的相似性。考虑到强化学习任务的独特特性，TG-MG通过利用MDP相似性来近似任务相似性，同时通过将所有任务的MDP建模为单个图，更准确地衡量MDP相似性，从而促进更有效的知识共享与整合。（2）在给定约束条件下，利用优化算法选择最佳任务分组，确保所有分组中各任务对之间的相似性之和最大。更重要的是，TG-MG仅需使用单一多任务模型对所有任务进行一次训练，将计算复杂度降低到Θ(1)级，显著提升了效率与可扩展性。此外，我们在Meta-World环境中进行了大量实验，实验结果证明了TG-MG的高效性与有效性。

**引言**
多任务强化学习近年来在强化学习领域展现出卓越能力，其目标是同时学习多个任务，以实现比单独学习更高的样本效率。多任务强化学习有望让学习过程形成能够同时处理多个任务的统一策略。以图1所示的简单多任务强化学习场景为例，机械臂需要同时学习打开和关闭抽屉及窗口的动作。通过蒸馏等技术以及正则化方法，可以开发出用于处理多个任务的统一策略。然而，实际研究表明，简单地将多个任务组合起来训练会导致模型性能下降，这种现象被称为负面知识迁移。大量研究指出，这是由于不兼容任务之间的竞争与干扰，阻碍了能够泛化到所有任务的统一策略的构建。近年来，人们从模型结构与优化两个角度付出了诸多努力，试图消除或减轻负面知识迁移，但在共同训练多个任务之前，确定哪些任务可以相互受益仍是更为重要的挑战。深入研究多任务分组问题，不仅能消除多任务强化学习中的负面知识迁移，还能与传统方法结合，推动该领域的发展。早期的多任务分组方法依赖成本较高的交叉验证或主观性强的直觉，限制了其在不同领域的应用。一种更为系统化的两阶段方法会先训练所有任务组合，再逐一筛选最佳分组，但其搜索成本会随着任务数量的增加而呈指数级上升。尽管更高阶近似方法能将复杂度从指数级降低到二次级，但仅根据训练后的性能推断分组仍然效率低下。随着元学习的进展，虽然出现了MTG-Net方法，但它仍需对每一种可能的任务组合执行多次多任务学习流程，计算复杂度依然很高。因此，在处理多任务强化学习时，由于样本效率较低，往往需要大量的时间和计算资源才能完成训练。这些方法的可扩展性进一步受限，难以有效处理大量任务。有研究提出了任务亲和力分组方法，可通过单次多任务学习获得分组，从而提高效率，但这类方法并不完全适用于多任务强化学习，因为它们通常忽视了强化学习任务的独特特性。在强化学习中，知识迁移是由马尔可夫决策过程动态及轨迹级相似性驱动的，而基于监督指标、成对探测或训练后性能的分组方法，则难以捕捉样本级或过渡动态级的任务关系。为弥补这一缺陷，我们从基于MDP动态的任务相似性出发，直接解决多任务分组问题。由于强化学习任务通常被建模为MDP，因此可以通过MDP相似性来近似任务相似性。识别这种相似性至关重要且具有挑战性。现有的衡量方法大多是在独立建模每个MDP的基础上从结构上比较，例如基于受限玻尔兹曼机重构误差的数据驱动指标，以及比较规则图与二分有向图的图形化方法。然而，孤立建模每个MDP缺乏统一的状态-动作表示，而图形级比较则忽略了节点特征间的交互作用及轨迹级关系，从而导致相似性估计不准确。为克服这些挑战，我们提出了基于MDP图的任务分组新方法——TG-MG，该方法从样本级MDP动态中学习任务相似性，并将其转化为适合部署的分组方式。我们的方法同样采用两阶段任务分组框架：（1）统一的样本级MDP相似性。我们为所有任务构建一个包含样本节点与任务节点的异构MDP图，通过在一个统一的度量空间中嵌入每个任务的状态与动作，使得距离相近的跨任务样本节点相连，从而实现轨迹级知识交流，捕捉图形级比较难以发现的过渡动态关系。此外，对于每个MDP，每个任务节点会聚合其样本节点的信息，形成任务级嵌入，我们再基于这些嵌入计算任务间的相似性。（2）考虑约束的分组。在给定的推理时间延迟约束与内存预算下，我们通过优化问题选择最佳任务分组，使得所有分组中各任务对之间的相似性之和最大。与以往需要反复训练候选分组的任务分组方法不同，TG-MG仅需一次多任务训练即可收集样本节点，因此相似性估计与分组所需的额外成本接近Θ(1)倍的多任务学习流程。这种设计通过MDP相似性而非监督代理指标来衡量任务相关性，与强化学习建模理念一致，显著提升了效率与可扩展性。此外，我们在包含50种不同机器人连续控制与操作任务的Meta-World环境中进行了实验，对比了我们的方法与其他基线方法，并进行了广泛的实验与消融分析，实验结果证明了该方法的高效性与有效性。我们的主要贡献如下：•据我们所知，这是第一项系统研究多任务强化学习中的任务分组问题，阐明了为何以往的分组方法可扩展性差且未能考虑强化学习动态特性。•我们提出了一种在统一状态-动作度量空间中运行的异构MDP图，通过将该空间中距离相近的跨任务样本节点相连，支持轨迹级知识交流，生成的任务嵌入的成对相似性能比图形级比较更准确地捕捉过渡动态关系。•在这一相似性基础上，我们提出了TG-MG，这是一种两阶段方法，首先学习样本级MDP相似性，然后再进行考虑约束的分组。TG-MG仅需一次多任务训练即可收集样本，提升了效率与可扩展性。•我们在Meta-World环境中进行了大量实验与对比分析，验证了TG-MG的有效性。本文的其余部分结构如下：第2节回顾多任务强化学习、MDP相似性及任务分组的相关研究；第3节介绍基本概念与任务分组问题的定义；第4节详细阐述我们提出的TG-MG框架；第5节展示并分析实验结果；第6节指出局限性及未来研究方向；第7节给出结论。

**相关研究片段**
多任务强化学习：Argyriou、Evgeniou与Pontil（2008）、Caruana（1993）、Eramo、Tateo、Bonarini、Restelli与Peters（2024）、Sun等人（2022）、Yang等人（2020）的研究表明，与单任务学习相比，知识共享是多任务学习的核心优势，因为它能让不同任务相互受益。Rusu等人（2015）、Teh等人（2017）通过策略蒸馏学习通用策略，以指导所有任务的学习。然而，简单的知识共享可能会产生问题。

**马尔可夫决策过程**：马尔可夫决策过程通常定义为元组M=，其中S是状态空间，A是动作空间，P:S×A→S是转移概率分布，P(st+1|st,at)表示处于状态st并执行动作at时到达状态st+1的概率，R:S×A→R是奖励函数，ρ是初始状态分布，γ∈(0,1]是折扣因子。策略π将每个状态s映射到动作空间A上的概率分布。价值函数用于……

**TG-MG概述**：本节如图2所示，介绍了TG-MG的整体流程。我们的框架可简化为以下两个主要阶段：•构建MDP图并计算MDP相似性。我们首先通过构建MDP图并获取任务间的成对相似性来分析任务之间的关系。我们提出了一种异构MDP图学习方法来衡量MDP相似性（即任务相似性）。我们将所有任务的MDP建模为异构图，从而……

**实验**：我们在多任务机器人操控任务上进行了大量实验，以验证TG-MG方法的有效性与高效性。我们介绍了实验环境、基线方法与实验设置，对比了我们的方法与基线方法，并进行了消融分析。

**局限性与未来工作**：尽管TG-MG在Meta-World基准测试中表现出出色的性能与可扩展性，但仍存在一些局限性，也为未来的研究提供了方向。首先，目前的度量空间虽能有效捕捉状态-动作关系，但仍依赖于均匀的转移采样。采用更高效的采样策略，自适应地选择有代表性的MDP样本，可生成更具代表性的嵌入，进而提升MDP相似性估计的精度。其次，TG-MG目前……

**结论**：在本文中，我们提出了一种基于异构MDP图的多任务强化学习任务分组方法——TG-MG。与传统同时使用单一模型优化所有任务的多任务强化学习方法不同，TG-MG解决了因不兼容任务之间的竞争与干扰而导致的负面知识迁移问题。它采用创新的方法对任务进行分组，确定哪些任务应组合在一起以实现互利。首先，TG-MG考虑了任务间的潜在关系与结构特征……

**CRediT作者贡献声明**
潘睿：概念设计、方法论、软件实现、验证、数据整理、初稿撰写。袁泉：审稿与编辑、指导。罗贵阳：审稿与编辑、指导。傅晓远：研究工作。刘志权：研究工作。李静林：资金筹措、指导。

**利益冲突声明**：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。