编辑推荐：
在合作式多智能体强化学习（cooperative MARL）中，高效探索仍是一项关键挑战——联合情境的新颖性不仅可能源于不熟悉的个体观测，也可能来自此前未被充分表征的智能体间交互模式。现有的内在奖励方法通常通过状态、观测、价值或预测表征来刻画新颖性，而这可能无
在合作式多智能体强化学习（cooperative MARL）中，高效探索仍是一项关键挑战——联合情境的新颖性不仅可能源于不熟悉的个体观测，也可能来自此前未被充分表征的智能体间交互模式。现有的内在奖励方法通常通过状态、观测、价值或预测表征来刻画新颖性，而这可能无法显式捕捉此类关系变化。为解决这一问题，研究人员提出关系图重建探索方法（Relationship Graph Reconstruction Exploration, RGRE），这是一种从智能体间关系视角表征新颖性的内在探索方法。RGRE首先利用注意力机制从智能体的局部观测中构建关系表征，随后采用图自编码器学习其潜在关系结构。重建差异被用作关系新颖性的代理指标，并作为内在探索奖励纳入环境奖励中。在多智能体粒子环境（Multi-Agent Particle Environment, MPE）的Spread任务（分别包含3、6和10个智能体）以及六个星际争霸多智能体挑战（StarCraft Multi-Agent Challenge, SMAC）场景上的实验表明，在所有九个评估任务中，RGRE均取得了比QMIX更高的平均最终性能。基于最终性能的结果，在三个MPE设置下，地标占据率平均提升5.82个百分点；在六个SMAC场景下，测试胜率平均提升7.84个百分点。
论文解读文章
1. 研究背景与问题
合作式多智能体强化学习（Cooperative Multi-Agent Reinforcement Learning, MARL）已在自动驾驶、机器人控制、交通管理和多人游戏等多个领域得到广泛研究和应用。与单智能体强化学习相比，MARL中的探索尤为困难，因为一个智能体的行为和观测与其他智能体的行为与观测相互耦合。因此，发现有效策略不仅需要探索未知的环境状态，还需要识别多个智能体之间的有用协调模式。现有内在奖励探索方法通常通过状态、观测、价值预测或轨迹层面的表征来定义新颖性，例如EMC基于动作价值估计的预测误差产生好奇心，SIM通过重建局部观测和全局状态评估陌生度。然而，这些方法可能无法充分表征两个智能体配置之间因交互模式不同而产生的差异，即使各自的局部观测本身并不陌生。针对这一不足，研究人员提出应从智能体间关系的角度出发，将未被充分表征的关系模式作为一种新的探索信号。
2. 研究内容与结论
研究人员提出了关系图重建探索方法（Relationship Graph Reconstruction Exploration, RGRE），该方法的核心思想是利用注意力机制从智能体局部观测中构建自适应关系图，并通过图自编码器学习其潜在关系结构。重建差异越大，表明当前关系模式越未被模型充分表征，从而将其作为内在探索奖励。实验在MPE的Spread任务（3、6、10个智能体）和六个SMAC场景上进行。结果显示，在所有九个任务中，RGRE的平均最终性能均高于基线QMIX，在MPE中地标占据率平均提升5.82个百分点，在SMAC中测试胜率平均提升7.84个百分点。此外，RGRE可集成到QMIX、VDN和QPLEX等多种MARL骨干算法中并带来性能提升。该研究的理论意义在于首次将关系新颖性作为MARL的内在探索信号，实践意义在于提供了一种模块化、可迁移的探索增强组件。
3. 关键技术方法
研究人员采用了以下几项关键技术方法：
- •
多头注意力机制（Multi-Head Attention）：用于从各智能体的局部观测中计算自适应成对关系权重。首先通过共享参数的嵌入特征编码器（两层全连接网络）将局部观测映射为特征向量，再投影到多个特征子空间，计算缩放点积注意力得分并经softmax归一化得到每个注意力头的关系邻接矩阵，最后对各头矩阵进行逐元素平均聚合，并对聚合后的有向矩阵进行对称化处理，得到最终的关系邻接矩阵A。
- •
图自编码器（Graph Autoencoder, GAE）：用于对上述关系邻接矩阵进行重建。编码器由两层图卷积层组成，第一层使用tanh加ReLU激活，第二层仅用tanh激活，将节点特征与关系权重结合生成潜在节点表征；解码器通过潜在表征的内积经sigmoid非线性激活重建邻接矩阵。
- •
二元交叉熵（Binary Cross-Entropy, BCE）重建损失：用于衡量对称化后的目标关系矩阵与重建矩阵之间的差异，并将逐转移的重建损失直接作为内在奖励。
- •
内在奖励系数λ：控制内在奖励与环境奖励的结合比例，主实验中设为0.01。
4. 研究结果
4.1 结果在MPE上的表现
为分析研究问题1（随智能体数量增加的性能变化）和研究问题2（与代表性方法的比较），研究人员在MPE Spread任务中分别设置了3、6和10个智能体。每个曲线报告五次独立随机种子的均值，上下包络线表示最大值和最小值。在3智能体场景中，所有方法均能覆盖约90%的地标，但RGRE更早达到较高的地标占据率。随着智能体数量增加到6和10，所有算法的性能均有下降，但RGRE仍保持较优的地标占据率，且差距更为明显，这与其动机一致：更大的团队产生更丰富的交互模式，使关系信息更有助于区分探索性情境。
4.2 结果在SC2上的表现
为进一步验证研究问题2，研究人员在SC2环境的六个标准SMAC任务上进行实验。在简单任务3s5z、10m_vs_11m和困难任务2c_vs_64zg上，多数算法均取得较高胜率，但RGRE的学习曲线显示其更早达到更高胜率。在困难任务3s_vs_5z上，RGRE保持强性能而对比方法最终胜率较低。在极难任务MMM2和27m_vs_30m上，RGRE虽有波动但仍取得有利的最终胜率，而EMC在这两项任务上表现较差，尤其在27m_vs_30m中，可能是因为EMC依赖主要基于局部信息的Q值预测误差，在大规模智能体交互时难以提供长程协调的有效引导。总体而言，RGRE在所有任务上表现良好，尤其是在3s_vs_5z、MMM2和27m_vs_30m等需要多单位协调的任务中优势明显。
4.3 最终性能与统计比较
表2汇总了RGRE与QMIX在三个MPE设置和六个SMAC场景下的最终性能。研究人员采用双侧Welch t检验进行比较，未假设总体方差相等。RGRE在所有九个任务上的平均最终性能均高于QMIX。在MPE-10、10m_vs_11m、3s_vs_5z和27m_vs_30m四项任务上，未经多重比较校正的双侧Welch检验p值低于名义每任务阈值0.05，其余比较未达到该名义阈值。
4.4 内在奖励系数的敏感性分析
研究人员在MPE-10和SMAC 3s_vs_5z上考察内在奖励系数λ的影响，测试λ值为0、0.001、0.005、0.01（默认值）和0.02。默认设置λ=0.01在两个任务上均取得最高的平均最终性能，相对于λ=0（无内在奖励），MPE-10的地标占据率从66.67%提升至78.07%，3s_vs_5z的测试胜率从86.88%提升至99.38%。当λ增至0.02时性能下降，表明增大内在奖励权重不一定改善任务表现。
4.5 受控消融实验
研究人员在MPE-10和3s_vs_5z上进行了五项变体的消融比较：（1）纯QMIX；（2）通用重建变体（去除关系矩阵和图自编码器，改用共享MLP自编码器重建各智能体编码特征）；（3）单头注意力变体；（4）去除图自编码器变体（用MLP自编码器重建扁平化关系矩阵）；（5）完整RGRE。完整RGRE相比通用重建变体在MPE-10上提升7.92个百分点，在3s_vs_5z上提升7.08个百分点。单头注意力替换导致性能分别下降2.16和2.94个百分点，去除图自编码器导致下降5.99和5.51个百分点。这些结果支持多头注意力和图自编码器的贡献。
4.6 在不同MARL算法上的结果
为回答研究问题3，研究人员将RGRE集成到QMIX、VDN和QPLEX三种代表性子算法中，在2c_vs_64zg、3s5z和10m_vs_11m三个SC2场景上进行配对比较。结果表明，引入RGRE普遍改善了各骨干算法的学习性能。
4.7 运行时间与计算复杂度比较
研究人员比较了六种方法在训练日志中记录的训练耗时。在MPE中，RGRE的耗时高于所有五种基线；在SMAC中，RGRE的耗时低于SIM和SMMAE在所有六个场景上的耗时，也低于RND在四个场景和EMC在五个场景上的耗时。从理论上看，RGRE显式构造和重建一个n×n的智能体间关系矩阵，成对注意力、图聚合和内积解码器在固定特征维度和注意力头数时引入O(n2)的额外复杂度，存储成对关系表征也需要O(n2)内存。
5. 讨论与结论
讨论部分总结：本研究的核心假设是合作式MARL中的新颖性不仅可从状态或观测层面表征，也可从智能体间关系层面表征。实验结果与此动机一致：在MPE中，随智能体数量增加RGRE的优势更加明显；在SC2中，学习曲线显示出更好的学习效率。RGRE与现有MARL探索方法互补，其独特之处在于将学习到的关系表征主要用于构造内在探索信号而非直接参数化策略或协调机制。然而，研究结果尚不能建立关系新颖性与性能提升之间的因果关系，因为重建差异作为代理指标可能还受到模型容量、优化状态、收敛不完全和表征漂移等因素影响。此外，RGRE的成对建模引入O(n2)的计算和存储成本，内在奖励系数λ的最优值可能依赖于具体任务和奖励尺度。
结论部分翻译：本研究从智能体间关系的角度探讨了合作式MARL中的内在探索问题。RGRE构建了一个自适应的关系感知表征，并将其重建差异作为内在探索信号。在MPE和SC2上的实验表明，集成RGRE可以在所评估的任务、团队规模和MARL骨干算法上改善学习性能。这些结果支持关系感知表征对于内在探索的潜在效用，并与RGRE的关系新颖性动机一致。然而，现有证据并不能证明关系新颖性是观察到的改进的唯一原因。重建差异仍然是一个代理指标，可能还受到表征和优化动态的影响，而成对关系建模引入了额外的计算成本，探索行为也依赖于内在奖励的配置。因此，需要在更广泛的环境和更大的团队规模下进行进一步受控评估，以更全面地刻画这些效应。
