L2AF: 用于高效多智能体协作的图注意力调制学习自动机

《Neural Networks》：L2AF: Graph-Attention Modulated Learning Automata for Efficient Multi-Agent Cooperation

　　

## 摘要

多智能体强化学习（MARL）受到联合动作空间组合爆炸以及智能体间复杂依赖关系被忽视的阻碍，这严重妨碍了有效协调和准确的信用分配。为应对这些挑战，本文提出了一种新型框架，称为融合特征提取的轻量级学习自动机（L2AF），并与图注意力调制特征提取器（GAMFE）相结合。具体而言，GAMFE将紧凑的多层感知机（MLP）嵌入与图注意力网络协同使用，以显式建模智能体间的关系依赖。该机制生成注意力加权的连续奖励信号（S模型），动态调节自动机的更新步长。从理论上讲，通过常微分方程（ODE）建模和Lyapunov稳定性分析，我们严格证明了L2AF能够局部渐近稳定，并以指数速率收敛到全局最优联合动作。在随机协调环境中的实验评估表明，L2AF实现了0.77 ± 0.11的AUC，显著优于LA-OCA和EMAQ等最先进基线方法。此外，消融研究证实，注意力机制和连续反馈分别带来了6.9%和11.6%的性能提升，而两者的结合将学习方差降低了15%，突显了该框架的鲁棒性。

## 引言

深度强化学习（DRL）作为机器学习的重要分支，在解决复杂环境中的多样化问题方面展现了强大的能力，如集体决策、语音识别（Busoniu等，2008）、自然语言处理（Vinyals等，2019）和游戏等领域。通过利用深度神经网络的高维表征能力，DRL使智能体能够以前所未有的精度逼近最优策略和价值函数。在单智能体设置中，学习范式相对简单：智能体执行动作，从环境中接收数值反馈，并迭代地优化其行为以最大化期望累积奖励。然而，从单智能体向多智能体环境的转变引入了显著的结构复杂性（Wang等，2020）。在MARL中，从任何单一智能体的视角来看，环境变得非平稳，因为状态转移和奖励取决于所有参与实体的联合动作。因此，直接将单智能体范式应用于多智能体场景往往是不充分的，主要由于随着智能体数量增加，联合动作空间的指数级扩展所导致的"维度灾难"（Hu等，2024）。

为缓解这些可扩展性问题，MARL将强化学习的原理扩展到分布式系统，强调可扩展的实现和高效的任务分配（Zhao等，2025）。在合作场景中，智能体通常共享全局奖励函数，并努力最大化集体累积回报（Yang等，2024）。这种合作框架已被广泛应用于智能交通信号控制（Adjei等，2025）、机器人集群导航和分布式资源管理（Lu等，2020）等实际应用中。尽管取得了这些进展，合作型MARL仍面临两个关键瓶颈：首先，联合动作的组合爆炸使得大规模系统的集中式策略优化在计算上不可行；其次，信用分配问题变得尤为突出，被忽视的智能体间依赖关系使得难以从全局共享奖励中区分个体的贡献。这些挑战在重复博弈——要求在没有状态转移的情况下优化纯策略——和随机博弈——涉及复杂的状态动态和累积折扣奖励——中尤为明显（Wang等，2025）。

基于独立学习者的MARL算法提供了一种务实的方法来应对这些挑战，通过解耦学习过程。在这种范式中，智能体以去中心化方式运行，无需观察其他智能体的动作或策略，从而显著降低通信开销并缓解联合空间复杂度（Nowé等，2006）。在独立学习者中，学习自动机作为一种鲁棒且具有理论基础的框架脱颖而出，用于实现最优联合动作或纳什均衡。学习自动机的优势是多方面的：（1）完全去中心化的执行方式，智能体无需观察同伴的动作；（2）结构简洁，便于实施；（3）对环境反馈的最小依赖；（4）每次迭代的计算复杂度低，非常适合实时和资源受限的应用。虽然学习自动机已成功应用于函数优化（Li等，2024）、图像处理和无传感器网络，但其在复杂合作型重复博弈和随机博弈中的潜力仍未得到充分利用。传统学习自动机的主要局限性在于其依赖于P模型（二元奖励/惩罚信号），忽略了连续反馈中包含的丰富信息，且无法捕获动态的智能体间依赖关系。这种粗糙性往往导致在复杂的多智能体环境中收敛缓慢和协调次优。

为克服局部视角和二元反馈的局限性，注意力机制已成为MARL中增强学习效率的有力工具。通过计算智能体观测和动作之间的相似度，注意力机制使智能体能够选择性关注关键信息，从而促进有效的团队合作。例如，在信用分配中，注意力帮助智能体权衡附近盟友的相关性，同时抑制来自远处实体的噪声（Busoniu, Babuska, De Schutter, 2008, Kontogiannis, Papathanasiou, Shen, Stamou, Zavlanos, Vouros, 2025, Zhang, Lin, Gong, Gu, Niyato, 2023）。近期研究强调了注意力在多智能体系统中的多样性，包括在分布式注意力增强频率调制中的应用。然而，现有的基于注意力的方法通常具有高度的计算复杂度，且与学习自动机等轻量级框架的集成尚未得到探索。迫切需要一种混合方法，将学习自动机的结构简洁性与注意力机制的关系建模能力相结合，以生成连续的S模型奖励信号。这种方法将动态捕获智能体依赖关系，并有效地减少最优联合动作的搜索空间。

针对这些空白，本文提出了一种新型框架：融合特征提取的轻量级学习自动机（L2AF），并与图注意力调制特征提取器（GAMFE）相结合。在该框架中，每个智能体被建模为一个学习自动机，使用计算高效的线性奖励-不动作（LRI）规则更新其策略。与此同时，GAMFE模块利用图注意力网络（GAT）计算智能体之间的相似度权重，显式建模团队内部的拓扑依赖关系。通过将注意力权重与连续反馈信号综合，系统生成S模型环境响应来调节更新步长，确保智能体不仅从自身动作中学习，还从同伴的加权影响中学习。

本文的主要贡献总结如下：

1. 为解决联合空间指数增长和智能体间依赖建模不足的双重挑战，我们提出了一种轻量级学习自动机框架L2AF，融合了图注意力调制特征提取器（GAMFE）。与深度MARL方法不同，L2AF是无梯度的，不需要神经网络训练，通过注意力调节的步长自适应以较低的计算开销实现协调。

2. 通过ODE建模和Lyapunov稳定性分析，我们从解析上证明了在最优联合动作存在的条件下，L2AF以指数速率收敛到局部渐近稳定的最优策略配置。这为大多数现有基于图注意力的MARL方法所缺乏的理论保障提供了依据。

3. 实验验证展示了算法在多个协作任务中的有效性。L2AF在2×2协调博弈中于500轮内收敛到最优策略，在随机3×4协调博弈中实现了0.77 ± 0.11的AUC，优于LA-OCA和EMAQ等基线方法。消融实验表明，注意力机制和连续反馈分别贡献了6.9%和11.6%的性能提升。

## 相关工作片段

MARL的演变深受博弈论原理的影响。虽然早期研究主要偏向竞争性的零和场景，但近期趋势已转向合作范式，其中智能体共享全局奖励函数以优化联合性能。尽管合作博弈算法具有理论上的丰富性，但其在复杂随机环境中的应用仍具挑战性（Ning和Xie, 2024）。本节回顾了相关领域的现状。

## L2AF框架

**训练与执行的通信模式。** L2AF遵循集中式训练与去中心化执行（CTDE）范式。在训练期间，GAMFE模块利用全局信息计算所有智能体之间的注意力权重。然而，训练完成后，注意力权重固定为其收敛值，每个智能体仅使用其本地观测$o_i$和先前动作$a_i$进行推理，无需与其他智能体进行通信。因此，在部署期间，L2AF保持了……

## 理论分析

本节从理论角度分析了L2AF算法的收敛特性。我们首先澄清问题形式化与假设，然后使用ODE对策略更新动力学进行建模。应用Lyapunov稳定性理论，我们证明了在存在严格最优联合动作的条件下，L2AF收敛到该最优策略配置，该配置构成系统的局部渐近稳定平衡点。

## 模拟与性能评估

我们在多个协作任务中评估了L2AF算法的性能。为确保统计可靠性，每种实验配置使用不同的随机种子独立运行10次，报告这些运行的均值和标准差。我们采用了三个关键评估指标。**联合奖励**反映当前策略的即时质量，计算为所有智能体在每轮中获得的共享奖励之和。**最优比例**……

## 结论

本文提出了L2AF算法，通过整合GAT与学习自动机，解决了多智能体合作任务中联合动作空间指数增长和智能体间依赖的问题。其关键创新包括：（1）通过图注意力机制动态捕获智能体相似度，通过注意力加权的 Learning Rate协调智能体；（2）用连续奖励信号替代二元反馈，以保留梯度信息并减少更新……

## CRediT作者贡献声明

**王军（Jun Wang）：** 写作——审阅与编辑、方法论、概念化。
**柯文杰（Wenjie Ke）：** 写作——初稿撰写、可视化、软件。
**刘璐（Lu Liu）：** 方法论、调查研究。
**董阙（Que Dong）：** 验证、方法论。
**刘佳（Jia Liu）：** 写作——审阅与编辑、概念化。
**赖攀（Pan Lai）：** 写作——审阅与编辑、方法论。
**张小（Xiao Zhang）：** 写作——审阅与编辑、监督、资金获取。

## 利益冲突声明

作者声明他们不存在已知的相互竞争的财务利益或个人关系，这些关系可能已影响本文所报告的工作。

## 致谢

本工作受国家自然科学基金（批准号62062019）、湖北省教育厅科技研究项目（批准号B2024254）、中央高校基本科研业务费中南民族大学（批准号CZQ25015、PTZ25002和XTZ24003）资助。

**王军 | 柯文杰 | 刘璐 | 董阙 | 刘佳 | 赖攀 | 张小**