经验共享的强化学习促进高阶网络上的集体合作

《Information Processing & Management》：Reinforcement learning with experience sharing promotes collective cooperation on higher-order networks

　　

• 提出了一种结合邻域经验的超图强化学习方法。
• 引入了一种经验共享机制来指导智能体决策。
• 适度的经验共享显著增强了集体合作。
• 较高的学习率和适中的折扣因子最佳地促进了合作。

引言
合作是亲社会行为的基本形式，其在自利个体之间的维持和涌现一直是演化博弈论中的核心议题（Axelrod 和 Hamilton, 1981, Hua 和 Liu, 2024, Liu 等，2026, Perc 等，2017, Rand 和 Nowak, 2013）。在现实系统中，合作不仅限于二元互动；相反，它通常在多个智能体同时互动的群体中展开（Battiston 等，2021, Boccaletti 等，2023, Wang 等，2026），例如科学合作。然而，传统的成对网络模型受限于严格二元互动的假设，无法准确表征多智能体互动的拓扑结构（Z.S. Wang 等，2025）。高阶网络（Battiston 等，2020, Iacopini 等，2024, Zhang 等，2023），包括超图（Battiston 等，2025, Chen 等，2026, D.N. Wang 等，2025, Yin 等，2026），可以有效编码两个以上智能体之间的互动，从而为研究集体合作提供理论基础。

此外，智能体决策往往受到多种因素的影响，例如互动过程的有限认知（Boyac? 等，2024, Franco 和 Murawski, 2023）和历史经验（Shinn 等，2023, Zhao 等，2024）。具体而言，智能体在互动中不断积累经验并发展自己的认知系统，从而相应地调整行为策略（Akata 等，2025）。重要的是，经验并不一定局限于智能体自身互动产生的信息，也可以通过知识共享或信息交换从邻近智能体处获得。例如，基于抱负的更新主要依赖于个体经验，其中智能体根据实际收益与抱负水平之间的差异来调整策略（Chen 等，2024, Zhou 等，2021）。相比之下，基于模仿的更新纳入了社会获取的经验，因为智能体通过观察和模仿邻居来更新策略（Ohtsuki 等，2006, X.C. Wang 等，2023）。这些研究共同表明，经验的来源及其使用方式在塑造合作演化方面起着至关重要的作用。强化学习（McKee 等，2023, Ren 和 Zeng, 2023, Xie 和 Szolnoki, 2026）提供了一个强大的框架来建模这种基于经验的学习过程，其中智能体通过迭代互动积累经验并逐步学习最优策略。因此，近年来，研究高阶网络上由强化学习驱动的合作演化引起了越来越多的关注。

特别是，Zou 和 Huang (2024) 开发了一个基于超图的 Q 学习演化博弈模型，以检验社会声誉对合作的影响，表明增加奖励函数中声誉的权重可以显著促进合作行为。类似地，Hu 等，2026, Li 等，2025, 以及 Zou 和 Huang (2025) 分别从同伴惩罚、信任水平和他人指向偏好的角度将 Q 学习与高阶网络上的演化博弈相结合。这些研究进一步阐明了集体合作涌现的机制。此外，还可以参见 J.H. Chen 等 (2025) 以及 Xu 等，2024, Xu 等，2026 的相关工作。尽管取得了显著进展，但该领域的现有研究尚未充分表征群体内经验共享的普遍现象。这与现实世界场景不一致，在现实世界中，智能体可以从邻近智能体那里获得有价值的外部信息并据此调整策略。未能考虑这种共享经验会导致过于简化的演化结论，从而限制了这些发现与现实系统的实际应用性和可靠性。

为了解决这一局限性，我们提出了一种整合个体和邻域经验的高阶网络强化学习框架。与传统的基于模仿、收益或动作的社会学习机制不同，所提出的框架使累积的邻域经验能够在智能体之间传播并贡献于个体强化学习。具体而言，我们采用超图来建模智能体之间的互动拓扑结构，并应用 Q 学习算法进行决策。通过引入经验共享机制，智能体可以通过整合自身学习经验与邻近智能体共享的信息来更新策略，从而在个体和邻域两个层面实现联合学习。该框架有效地捕捉了共享信息如何影响智能体决策，并为理解集体合作涌现的机制提供了见解。本工作的主要贡献总结如下。

(1) 本研究提出了一种高阶网络上新颖的经验共享演化博弈框架。通过将焦点智能体邻居的经验整合到基于强化学习的决策中，我们的框架允许智能体基于个体和集体经验来更新策略。这为研究高阶结构中共享信息在合作演化中的作用提供了统一框架。
(2) 本研究设计了一种聚合邻域信息并将其整合到智能体决策中的经验共享机制，从而表征了现实世界中群体中常见的共享现象。这种方法为建模这种现象及其对合作演化影响提供了有前景的途径。
(3) 通过一系列仿真实验，结果揭示适度的共享最有利于集体合作，而过度共享导致信息同质化，削弱了合作优势。这些发现为集体合作动态及复杂社会系统中共享机制的作用提供了有价值的见解。

本文其余部分结构如下。第 2 节提供了相关文献综述。第 3 节介绍了 Q 学习算法和多人雪堆博弈的初步知识，然后阐明了本研究的研究目标。第 4 节详细说明了提出高阶网络上的经验共享强化学习机制，包括超图的构建和智能体的演化过程。第 5 节报告了仿真结果并提供了相应的分析。第 6 节讨论了该研究的理论和实践意义。最后，第 7 节通过总结关键发现、讨论局限性并展望未来研究方向来结束本文。

章节片段
高阶网络上的合作演化
高阶网络为研究集体合作的演化提供了有效的理论框架（Battiston 等，2025, Wang 等，2026）。Alvarez-Rodriguez 等 (2021) 将公共物品博弈扩展到高阶社会网络，并提出了一种基于超图的多智能体博弈框架。此外，A.Z. Sheng 等 (2024) 开发了简并复形上策略演化的一般理论方法，该方法整合了成对和多方互动。

多人雪堆博弈
多人雪堆博弈（Chiong & Kirley, 2012）是经典雪堆博弈向群体互动设置的自然扩展。在该模型中，m 个智能体组成的小组遇到雪堆挡路。每个智能体可以选择铲雪（合作，记为 C）或不作为（背叛，记为 D）。铲雪的总成本 c 在那些选择铲雪的人中平均分担。只要至少有一个智能体铲雪，道路就会畅通，所有智能体都会收到...

模型
在本研究中，我们提出了一种基于超图的强化学习框架，该框架整合了个体和邻居的经验，以调查合作行为的维持和涌现，如图 1 所示。该框架由三个部分组成：(a) 超图构建：采用均匀超图来表征种群的拓扑结构，其中节点代表智能体，超边对应于它们的互动群体。(b) 初始化：The...

智能体行为的演化
图 3 展示了稳态合作水平 fc 与困境强度 r 和共享率 β 的关系。当 r 较低时（r?0.2），无论 β 如何，系统都保持高水平的合作。这是因为较小的 r 意味着合作成本低且净收益相对较高，允许智能体仅通过基于自身经验的强化学习来学习合作的好处。因此，在...情况下，经验共享对合作的贡献仅略微...

理论意义
尽管强化学习已被应用于复杂网络上的演化博弈，但大多数现有研究将智能体视为仅基于自身经验做出决策的独立学习者。这种设置无法捕捉现实世界群体互动中普遍存在的经验扩散和信息共享。为了解决这一局限性，我们开发了一个整合个体和邻域经验的强化学习框架。具体而言，该框架...

结论、局限性与展望
在现实世界中，合作常见于涉及多个智能体的高阶互动中（Y.D. Chen 等，2025, Lin 等，2025, Sadekar 等，2025），其中智能体决策不仅依赖于个体经验，还依赖于群体内共享的信息（Kameda 等，2022）。为了捕捉由个体和群体共享经验共同驱动的合作演化动态，本文开发了一个整合...的强化学习框架。

CRediT 作者贡献声明
Yan Xu：撰写 – 原稿、调查、正式分析、概念化。Qingbo Hao：撰写 – 审阅与编辑、方法论、正式分析、概念化。Xiaopeng Li：撰写 – 审阅与编辑、验证、正式分析、概念化。Liquan Niu：验证、资源、概念化。Chengyi Xia：撰写 – 审阅与编辑、监督、方法论、资金获取、正式分析、概念化。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文报告的工作。

致谢
本工作得到了中国国家自然科学基金（资助项目编号：62573316, 62673354 和 62363004）、天津科技重大专项（资助项目编号：25ZXSFSN00070）以及贵州省基础研究计划（自然科学）（资助项目编号：MS[2025]232）的支持。

Yan Xu|Qingbo Hao|Xiaopeng Li|Liquan Niu|Chengyi Xia