无人机集群中通信高效的多智能体强化学习的信息瓶颈方法

《Entropy》：Information Bottleneck for Communication-Efficient Multi-Agent Reinforcement Learning in UAV Swarms

　　

多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）已成为协同无人机（Unmanned Aerial Vehicle, UAV）集群协调的一种有前景的范式。然而，现有的通信感知MARL方法主要关注通信拓扑、消息路由和消息聚合，而交换消息的信息内容通常仅被隐式控制。在真实的UAV网络中，智能体间通信受限于有限带宽、通信范围、能量消耗和丢包。因此，每个UAV期望传输紧凑且任务相关的信息，而非密集冗余的潜在特征。在本文中，研究人员提出IB-CEMARL，一种信息瓶颈（Information Bottleneck, IB）引导的通信高效多智能体强化学习框架，用于UAV集群。研究人员将UAV间通信建模为一个最小充分消息学习问题，其中每个UAV在与其邻居交换信息之前，将其局部观测编码为随机瓶颈消息。基于柯西-施瓦茨散度（Cauchy-Schwarz divergence, CS）的二次互信息被用作统一的依赖度量，以联合正则化消息压缩、保留决策相关信息以及减少相邻UAV消息间的统计冗余。大量实验表明，与代表性的通信感知MARL基线相比，IB-CEMARL实现了优越的协同性能、减少的消息冗余和更强的鲁棒性。特别地，与KL-IB-MARL基线相比，IB-CEMARL在受限带宽设置下提高了平均回报并减少了智能体间消息依赖。

**论文解读：无人机集群中通信高效的多智能体强化学习的信息瓶颈方法**

**研究背景与问题**
无人机集群（Unmanned Aerial Vehicle, UAV）在灾难响应、野火监测、环境感知等任务中展现出巨大潜力，其核心优势在于多机协同覆盖与动态环境适应。然而，UAV集群的协同决策依赖于智能体间通信，而现实通信网络受限于带宽、通信范围、能量消耗和丢包。现有通信感知多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）方法主要关注通信拓扑、消息路由与聚合，但对交换消息的信息内容仅作隐式控制，导致UAV可能传输密集冗余或任务无关的潜在特征。在密集部署场景中，相邻UAV观测重叠区域，冗余消息进一步浪费带宽并引入噪声。因此，亟需显式优化每个UAV应传输的最小充分信息量，以支持高效协同决策。本研究基于信息瓶颈（Information Bottleneck, IB）原理，旨在解决UAV集群中通信受限下的信息压缩、任务相关性与冗余减少问题。

**研究内容与结论**
研究人员提出IB-CEMARL框架，将UAV间通信形式化为最小充分消息学习问题。每个UAV通过随机瓶颈编码器将局部观测压缩为紧凑消息，利用柯西-施瓦茨散度（Cauchy-Schwarz divergence, CS）的二次互信息作为统一依赖度量，联合优化消息压缩、任务相关性保留和相邻消息冗余减少。在距离受限的通信图下，消息交换后经聚合用于分散式策略执行。实验在覆盖任务中验证：IB-CEMARL相比代表性基线（如无通信、全通信、KL-IB-MARL等）获得最高平均回报与覆盖比，同时显著降低局部-消息依赖与智能体间消息依赖。消融实验表明，消息压缩、任务相关性和冗余减少三者互补贡献，缺一不可。鲁棒性测试显示，IB-CEMARL在丢包、不同通信半径及未见集群规模下性能退化更慢，泛化更强。该论文发表在《Entropy》。

**主要技术方法**
IB-CEMARL框架采用集中训练分散执行（Centralized Training with Decentralized Execution, CTDE）架构。每个UAV的局部观测经编码器映射为隐藏表示，再通过重参数化高斯分布生成随机瓶颈消息。消息压缩、任务相关性和冗余减少三项正则化项均基于CS散度的二次互信息估计，利用高斯核密度估计（Kernel Density Estimation, KDE）从 mini-batch 样本中计算。训练时，集中式评论家利用全局信息优化策略，分散式执行仅依赖局部观测与接收的紧凑消息。实验在二维工作空间（2×2单位）中进行，包含5架UAV与20个随机目标，通信半径设为0.8单位，传感器半径0.6单位，默认瓶颈消息维度16。

**研究结果**
- **4.3 主性能比较**：IB-CEMARL在标准设置下平均回报（0.93）和覆盖比（0.95）均最高，局部-消息依赖（0.11）与智能体间消息依赖（0.08）最低，表明CS正则化有效学习紧凑、任务相关且低冗余的通信表示。
- **4.4 消融研究**：去除压缩项导致局部-消息依赖大幅上升；去除任务相关性项性能下降最大（平均回报0.82）；去除冗余减少项导致智能体间消息依赖增加（0.25）。KL-IB-Red（含KL冗余惩罚）性能优于KL-IB-MARL，但仍低于IB-CEMARL，证明CS度量的统一优势。
- **4.5 鲁棒性分析**：在丢包率0.5时，IB-CEMARL平均回报0.85，优于其他基线（如KL-IB-MARL 0.71）；通信半径0.6时，IB-CEMARL回报0.89，远高于DistComm-MARL的0.74；在未见集群规模（8架UAV）测试中，IB-CEMARL回报0.91，泛化性最强。
- **4.6 计算开销与通信成本**：IB-CEMARL训练时间略长（每步35ms vs. MAPPO 20ms），但推理时无额外开销；消息维度从4到32变化时，IB-CEMARL在4维下回报0.86，而DistComm-MARL仅0.71，表明紧凑消息更高效。
- **4.8 消息效率分析**：IB-CEMARL在低消息维度下性能优势明显，智能体间消息冗余度训练中持续下降，验证了CS冗余减少项的有效性。
- **4.9 可视化**：轨迹与覆盖图显示IB-CEMARL实现更均衡的UAV部署与更紧凑的通信链路；成对消息冗余矩阵中，IB-CEMARL对角线外依赖值更低，表明互补通信。

**讨论与结论**
论文讨论部分指出，IB-CEMARL通过显式正则化消息内容，在通信受限下实现协同性能与效率的平衡。消融与鲁棒性实验共同证实消息压缩、任务相关性与冗余减少三者的互补作用。研究局限性在于在简化二维环境与点级运动模型下验证，未考虑真实气动、无线信道干扰等。结论部分（第5节）翻译如下：本文提出了IB-CEMARL，一种用于学习协同UAV集群中紧凑且任务相关通信的信息论框架。UAV间通信被形式化为最小充分消息学习问题，其中随机瓶颈消息通过基于柯西-施瓦茨散度的二次互信息进行正则化。所得目标联合抑制过度的局部-消息依赖、保留决策相关信息并减少相邻UAV消息间的统计冗余。在通信受限的覆盖任务上的实验表明，IB-CEMARL提高了协同回报与目标覆盖，同时降低了智能体间消息冗余。该方法在丢包和有限通信范围下性能退化更慢，并能更有效地泛化到训练中未见的集群规模。消融结果进一步证明消息压缩、任务相关性和冗余减少对最终性能的互补贡献。本研究局限于简化二维环境，未来工作将纳入三维UAV动力学、障碍物、通信延迟、信道干扰、量化及能量感知传输，并在高保真仿真与真实机器人平台上验证。