AGTA：多智能体强化学习中的拓扑感知序贯决策方法

《Mathematics》：AGTA: Topology-Aware Sequential Decision-Making in Multi-Agent Reinforcement Learning

　　

多智能体强化学习（MARL）长期以来因多智能体系统中固有的复杂智能体间相关性而面临基础协调挑战。尽管近期序贯决策范式的进展为多智能体决策过程提供了细粒度监督，但缺乏计算可行的智能体间相关性管理方案仍是关键瓶颈，严重制约该范式效用。为此，研究人员提出动作生成与拓扑感知（AGTA），一种MARL中拓扑感知的序贯决策框架，将智能体间相关性建模与拓扑引导的决策次序优化相融合。AGTA在学习动态中通过多智能体Transformer提取智能体间互注意力，随后直接从所得注意力矩阵中捕获有向无环图（DAG）以建模智能体间相关性，最后通过分析并求解拓扑约束精炼动作生成次序，从而实现智能体间相关性管理。大量实验表明该方法优于现有最优对照方法。

研究背景方面，多智能体强化学习（MARL）在自动驾驶、仓储物流与网络控制等场景应用广泛，其核心挑战在于协调多智能体实现联合目标。多智能体系统（MAS）中单智能体最优动作受他者动作干扰，形成复杂智能体间相关性，放大学习动态复杂度。现有决策范式分同时生成与序贯生成两类：同时范式忽视动作干扰效应，降低团队级协调效率；序贯范式（如MAT）以固定次序生成动作，虽缓解干扰但环境非平稳性与维度灾难使固定次序次优，且已有基于局部观测显著性的次序优化（如PMAT）忽视相关性管理。因此，识别潜在智能体间相关性并用以自适应优化动作生成次序，是MARL关键开放问题。研究人员据此开展AGTA研究，得出该框架在RWARE、SMACv2与DSR三类基准上稳定超越MAPPO、MAT、MAPT、GCS等对照方法，论证了相关性管理与拓扑感知次序优化的必要性，论文发表于《Mathematics》。

关键技术方法上，研究人员以马尔可夫博弈建模合作MARL，基于多智能体Transformer（MAT）编码器提取智能体间互注意力矩阵；构造非对称矩阵A_ij=α_ij?α_ji，取正项候选有向边，按权重降序以深度优先搜索（DFS）可达性检查贪心构图，保证有向无环图（DAG）有效性（命题1）；在DAG上以depth-out最长下游路径长为主、support-out出边权重和为辅算优先级，得拓扑合法决策置换π；策略端沿用MAT的截断PPO目标与GAE优势估计，端到端集中训练集中执行（CTCE）。样本来自RWARE（4–8智能体small/medium布局）、SMACv2（terran/protoss 5_vs_5与10_vs_10，含扩展部分可观测EPO）及自研灾害搜救DSR（1重型救援员HRW、2技术救援专员TRS、2搜索侦察员SSC的异构能力层级网格世界）。

研究结果部分，第1节引言指明序贯范式潜力与固定次序局限，引出相关性驱动的自适应次序研究问题。第2节相关工作厘清同时/序贯范式及策略更新次序、决策次序两类优化维度，定位AGTA与PMAT、GCS差异。第3节预备知识给出马尔可夫博弈、多智能体优势分解（MAAD引理1）、DAG入出度定义与MAT编解码结构。第4节方法论分三模块：注意力提取（AE）由MAT编码器得α_ij与非对称矩阵；图构建（GC）贪心加边保无环（命题1证毕）；决策次序优化（DO2）依式(14)拓扑约束由depth-out式(15)与support-out式(16)排序得π；整体损失式(17)(18)合策略、值函数与熵正则。第5节实验在RWARE六个场景中AGTA样本效率与回合奖励均优，MAT在中规模偶发相近但小规模避撞场景落败；SMACv2四图上AGTA最终胜率最高，GCS个别图前期效率占优；DSR案例研究显示AGTA注意力矩阵随步数浮现非对称关系，所学DAG精度与结构汉明距优于GCS，回合奖励更高；敏感性分析（BFS替代DFS、阈值0.01/0.02/0.05）终性能相近；消融中去AE/GC/DO2均退化，去GC样本效率跌最甚；计算开销表显示较MAT增量可控且随智能体数可忽略。第6节结论总结AGTA流水线有效，局限为未测噪声敏感与大规模设置，未来可接大模型多智能体系统（LLM-based MAS）。

讨论与结论翻译：研究人员聚焦MARL中智能体间相关性管理，提出AGTA这一拓扑感知序贯决策方法，将注意力提取、图构建与决策次序优化无缝嵌入序贯过程，为相关性识别提供可行解。跨域基准RWARE、SMACv2与DSR实验表明AGTA一致优于多个强基线，所学DAG有反映智能体间相关性之潜力。一重限制是未在噪声敏感或大规模设定评估，可能引入进一步挑战；此外近期大语言模型（LLM）进展为将次序优化植入LLM驱动MAS提供新机，未来工作拟探索该方向并以AGTA流水线促进多LLM智能体有序协调。