EntShare：一种基于选择性知识共享的多智能体强化学习自适应熵平衡方法

《Future Generation Computer Systems》：EntShare: Adaptive entropy balancing for multi-agent reinforcement learning with selective knowledge sharing

　　吴嘉柔|魏苏航|冯翔|余慧群 中国上海华东理工大学计算机科学与工程系 摘要 多智能体强化学习面临两大核心挑战：在非平稳环境下平衡探索与利用，以及在不传播错误的情况下有效共享知识。现有方法通常依赖固定的探索策略，无法适应动态交互，而无选择性的知识共享则可能传播次优策略。为解决这些问题，我们提出了EntShare这一基于价值的集中训练去中心化执行框架，它利用熵作为统一信号来（i）动态调节探索强度，（ii）控制知识共享。EntShare引入了动态多尺度熵控制器，用于衡量不同时间尺度上的策略不确定性，并通过熵门机制仅传播高可信度的经验。理论分析证实了熵在探索与利用权衡中的闭环作用。在五个部分可观测环境中，EntShare在四个类别中均优于10种代表性基准方法，显示出在多种协作场景下的强大泛化能力。此外，它还具备更优异的收敛后稳定性，有效避免了对比方法中出现的性能骤降现象。引言 现实世界的控制问题往往要求多个分布式智能体在存在不确定性、部分可观测性及非平稳交互的情况下协调行动。多智能体强化学习为应对这些挑战提供了理论基础，在从机器人技术到分布式能源管理等多个领域取得了显著成果[1]。然而，在多智能体强化学习中协调联合行动会导致状态-动作空间出现组合爆炸问题，使得探索与利用的权衡比单智能体场景更为严峻。由于智能体同时学习，环境会变得非平稳，导致价值估计出现不可预测的变化[2]。在这种情况下，无目标的探索不仅计算成本高昂，还可能过早采用次优策略，而过早的利用则会导致收敛失败[3]。为解决这些挑战，现有方法大致可分为两类：以探索为重点的方法和以协调为重点的方法。一种主流方法是通过基于熵的正则化来持续进行广泛的策略探索，这种正则化提供了一种与模型无关且具有原理性的不确定性度量方式。近期的一些创新通过引入由熵驱动的内在目标来鼓励行为多样性[4]，或通过调度机制和先验知识来动态调整搜索空间[5][6]。但这些方法通常将熵仅视为内部调节器，侧重于单一尺度的调整，忽视了其引导智能体间交互的潜力。虽然基于熵的探索机制能够解决单个智能体层面的不确定性问题，但仅靠有效的探索并不足以解决非平稳环境下的协作问题[7]。因此，另一类研究则聚焦于通信和知识共享机制。除了传统的参数共享之外，近期研究开始转向交换更高层次的知识，如学到的策略、价值估计或战略见解[8][9]。基于通信的方法通过消息交换来优化协调，但未经过滤的共享可能会导致错误传播并固化次优行为，尤其是在顾问本身也存在不确定性的情况下[10]。因此，可靠地筛选共享知识是多智能体系统中一个至关重要但常常被忽视的利用环节。关键在于，探索策略与知识共享并非孤立的问题，它们从互补的角度解决了多智能体强化学习中的探索与利用困境。我们提出了一种统一的视角：策略熵可以作为统一信号，同时调节内部探索强度和外部知识交换。与那些将这两个过程分开处理的现有方法不同，我们认为用于触发探索的同一不确定性指标也应决定共享建议的可信度。基于这一统一思路，我们提出了EntShare这一基于价值的集中训练去中心化执行框架。EntShare通过将策略熵作为单一的、统一的、双重用途的调节信号，有效解决了非平稳学习与探索与利用困境这两大挑战。我们的主要贡献如下：•统一熵调节。我们引入了动态多尺度熵，该指标能够捕捉多个时间尺度上的策略不确定性，可作为整个多智能体系统的统一控制信号。•自适应探索控制。动态多尺度熵使智能体能够在高度非平稳的环境中，根据不断变化的不确定性动态调整探索强度，从而实现探索与利用的平衡。•基于熵的门控知识共享。我们设计了一种基于熵的通信机制，根据策略置信度有选择地请求和筛选共享知识，防止不可靠信息的传播。•实证有效性。在多种多智能体强化学习基准测试中的大量实验表明，EntShare始终优于各类代表性基准方法，并展现出更优异的收敛稳定性。章节节选 集中训练去中心化执行 CTDE范式通过在训练期间允许访问全局信息，同时限制执行时仅使用本地观测数据，从而实现多智能体协同学习。在这一框架下，出现了两种主要的研究方向：在基于价值的研究方向中，VDN[11]将联合价值分解为简单的加法形式，虽具有良好的稳定性和可扩展性，但难以捕捉复杂的协作依赖关系。在此基础上，QMIX[12]采用了非线性单调混合问题建模方法。我们将任务建模为一个具有N个智能体的部分可观测马尔可夫博弈，其定义由元组(N,S,O,A,{Ωi}i∈N,P,{Ri}i∈N,γ)表示。这里N={1,…,N}是智能体集合，S是状态空间，O=O1×?×ON是联合观测空间，A=A1×?×AN是联合动作空间。为简化问题，我们假设所有智能体都是同质的，具有相同的本地观测空间和动作空间。在时间t，智能体i从观测概率分布Ωi(?∣st)中获取一个本地观测值oi,t∈Oi，即oi,t～Ωi(?)方法 我们提出了EntShare，这是一个包含两个模块的框架，它在合作型多智能体强化学习中结合了基于不确定性的探索与有针对性的知识交换（见图2）。自适应熵平衡决策模块（第4.1节）通过动态多尺度熵信号自适应地平衡探索与利用，而选择性知识共享模块（第4.2节）则仅在智能体之间共享高可信度的经验。这两个模块形成一个闭环：熵负责引导探索，经过优化的策略则对系统进行调整。实验 本节旨在评估所提框架在部分可观测多智能体强化学习任务中平衡探索与知识共享方面的有效性。具体而言，我们的实验围绕以下核心研究问题展开：•问题1：我们的方法能否比基准算法实现更快的收敛速度、更高的最终策略质量以及更好的收敛后稳定性？•问题2：动态多尺度熵机制如何影响智能体的表现？结论 本文解决了在非平稳多智能体强化学习中平衡自适应探索与可靠知识交换的难题。EntShare将熵作为统一的不确定性信号，用于指导两项决策：动态多尺度熵通过结合短期响应性与长期稳定性来调节探索行为，而基于熵的门控共享机制则根据策略的可信度来筛选经验传播。在五个部分可观测环境中的实验表明，EntShare实现了更快的收敛速度以及更高的……CRediT作者贡献声明 吴嘉柔：撰写——初稿、可视化、验证、方法论、研究分析、形式化分析、数据整理、概念构建。魏苏航：撰写——审阅与编辑。冯翔：监督。余慧群：监督。关于手稿准备过程中生成式AI及AI辅助技术的声明 在准备本文档时，作者使用了ChatGPT来润色语言。在使用该工具/服务后，作者对内容进行了必要的审阅和编辑，并对最终发表文章的内容负全责。资助 本项目得到了中国国家自然科学基金（编号62276097）、中国国家自然科学基金重点计划（编号62136003）以及中国国家自然科学基金（编号62372174）的支持。利益冲突声明 作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。