CoVarNet：用于多智能体强化学习通信的对比变分网络

《Expert Systems with Applications》：CoVarNet: Contrastive variational network for communication in multi-agent reinforcement learning

　　

• 固有信道噪声具有动态信噪比，阻碍了多智能体之间的通信。
• VAE通过提取潜在特征增强通信鲁棒性。
• 对比学习增强意图推理以提高协同效率。
• 在MPE、SMAC和GRF基准上表现更优，具有更快的收敛速度和更高的胜率。

引言
多智能体强化学习（MARL）作为一种解决复杂协作与竞争任务的强大范式已崭露头角。在自动驾驶（Hua等人，2025）、大规模游戏环境（Samvelyan等人，2019）以及机器人协同（Gu等人，2026）等各类任务中均取得了显著成果。支撑这些成功的广泛采用的框架是集中训练与分布式执行（CTDE），它能在算法性能与部署可行性之间取得平衡（Lowe等人，2017；Rashid等人，2020；Yu等人，2022）。CTDE使智能体能够在训练阶段利用全局信息进行联合优化，并在执行阶段独立行动。这能有效促进智能体间的合作，并为解决信用分配问题提供了新思路。然而，MARL系统面临两个基本挑战：部分可观测性（Wang等人，2026）和环境非平稳性，这些问题会导致次优策略或阻碍学习算法的收敛。

为应对协同问题，大多数研究引入了通信机制（Xie等人，2024；Xie等人，2026）。通过使智能体能够交换观测数据、编码特征或未来意图（Li等人，2025a），通信有效地扩展了每个智能体的感知范围并同步了它们的决策过程（Ding等人，2020；Wang等人，2020）。许多现有研究聚焦于如何有效聚合智能体接收到的消息。例如，IC3Net（Singh等人，2019）和G2ANet（Liu等人，2020）等算法可通过选择高效的消息聚合方法来有效促进智能体间的合作。然而，这些方法均基于理想通信通道的假设。另一方面，Code（Song等人，2025）和SDIC（Peng等人，2026）等方法关注通道约束下的通信效率，其目标是缓解传输延迟、有限带宽、事件触发传输（Yong等人，2023）以及通信开销的影响。然而，在通信过程中，消息往往持续受到加性高斯白噪声（AWGN）的干扰（Proakis & Salehi，2001）。信道的信噪比（SNR）表现出随时间波动的动态特性。在这样的环境中，传统方法可能导致接收方所采用的策略与发送方的期望之间产生偏差。具体而言，受噪声波动影响，接收方难以基于现有的消息处理方法有效提取发送方的意图。我们在第5.5节中定量分析了在理想通道和噪声通道假设下由噪声引起的策略差异。基于此，研究动态信噪比环境下多智能体系统的抗噪通信机制对于推进多智能体强化学习具有重要意义。

纠错码（ECC）是应对上述挑战的主要技术。然而，当应用于MARL时，ECC面临若干显著局限。ECC方案通常不可微且与学习过程解耦，这使得其在CTDE框架下难以集成到端到端的MARL训练中。此外，ECC依赖基于块的编码与解码，该过程会引入缓冲和解码延迟。在MARL环境中，智能体需要及时的消息交换以实现有效的实时协同，因此这类延迟是不可取的。

为解决这些挑战，我们提出了一种利用表示学习增强通信鲁棒性的新框架。我们的核心见解是，尽管原始消息极易受到信道噪声的影响，但其协同意图通常嵌入在低维潜在结构中。此处所述的"意图"指使接收方在信道扰动下仍能维持协同行为的信息，而非预定义的动作命令或人工标注的战术标签。其保留情况通过干净消息与噪声消息所诱导的策略之间的一致性来评估。据此，我们引入变分自编码器（VAE）（Kingma & Welling，2014），在接收方侧提取消息的潜在表示。为确保提取的特征具有噪声不变性，我们引入了对比学习目标，鼓励来自不同噪声但具有相同语义内容的消息所导出的表示在潜在空间中对齐。这种一致性正则化确保智能体即使在随机信道干扰下也能提取稳定的协同意图。在提取噪声不变表示后，动态图卷积网络（GCN）根据当前通信拓扑对其进行聚合。因此，对比VAE负责抑制消息级扰动，而GCN则执行受拓扑约束的结构融合，而非充当额外的去噪模块。为严格评估所提出的CoVarNet在此条件下的有效性，我们在多个基准多智能体强化学习环境中进行了对比实验。实验结果表明，CoVarNet优于基线算法。此外，即使遭受严重的信噪比波动，我们的方法仍能保持接近理想条件的性能。额外的分析揭示了在动态信道干扰下学习稳定性和适应性的提升。

本文的主要贡献总结如下：
• 我们在MARL中建模了具有动态信噪比的更现实通信通道。在此条件下，智能体间传输的消息不可避免地受到随机噪声的破坏，可能导致接收方误解发送方的协同意图，从而引发不一致的协同策略。
• 我们提出了对比变分网络（CoVarNet）框架，融合VAE与对比学习以克服噪声干扰，提高整体通信鲁棒性和协同效率。
• 我们开发了一种结合对比学习的变分自编码器来提取捕获噪声不变意图的潜在特征。此外，它确保提取的特征在不同噪声扰动下保持一致，同时区分与不同时间步协同意图相关的特征变化，从而增强多智能体强化学习中消息交换的可靠性。
• 我们在包括MPE、SMAC和GRF在内的三个挑战性基准上评估了CoVarNet。结果表明CoVarNet比经典基线实现了更快的收敛速度和更高的胜率。此外，CoVarNet在低信噪比和高信噪比条件下均保持高策略一致性，显示出其在噪声通信环境中的鲁棒性。

章节摘要
带通信的多智能体强化学习
通信长期以来被认为是使多智能体强化学习能够实现协同的重要组成部分，尤其是在部分可观测性条件下。DIAL（Foerster等人，2016）和CommNet（Sukhbaatar等人，2016）等开创性工作允许梯度在智能体间流动，从而实现通信策略的端到端优化。IC3Net（Singh等人，2019）提出了一种门控机制，使智能体能够决定何时进行通信。

Dec-POMDP
我们将多智能体协作任务建模为去中心化部分可观测马尔可夫决策过程（Dec-POMDP）（Oliehoek等人，2016），由元组???,??,??,{????},??,??,???定义，其中：
• ??={1,?,??}表示N个交互智能体的集合。
• ??表示描述整个环境配置的全局状态空间。
• ????表示智能体i的动作空间。联合动作空间记为??=∏????=1????。在每个时间步t，智能体同时执行联合动作。

方法
在本文中，我们提出CoVarNet，旨在促进具有动态信噪比的噪声通信通道中智能体之间的通信协同。

实验
在本节中，我们在各种环境中评估CoVarNet的性能，以解决以下研究问题：(i) CoVarNet是否能在具有不同信噪比的动态噪声条件下保持鲁棒性；(ii) 它是否能在多样的多智能体环境中展现出一致的泛化能力；(iii) 对比VAE如何对模型的噪声不变性做出贡献。为在不同战术水平下提供全面评估。

结论
在本工作中，我们提出了CoVarNet，一种为MARL设计的鲁棒通信框架，旨在有效提取被动态随机噪声破坏的消息中的不变潜在表示。它解决了当前工作未能合理建模和处理信道噪声的局限性。在MPE、SMAC和GRF基准上的广泛实证评估表明，我们的方法显著优于基线方法。具体而言，CoVarNet能够保持高策略一致性。

利益冲突声明
作者声明不存在已知的竞争财务利益或个人关系可能影响本文中报告的工作。

Lu Ren | Yifan Tang | Qichao Ma | Wenzhang Liu | Changyin Sun