《Sensors》:DGR-MAPPO: Enhancing Multi-Agent Cooperative Exploration in Unknown Environments with Distance-Aware Communication and Global Average Pooling
编辑推荐:
针对未知环境下多智能体协同探索中局部观测受限、全局协作困难及探索效率低等挑战,研究人员提出一种融合距离感知与门控循环单元优化的多智能体近端策略优化(MAPPO)算法。该研究构建融合全局地图与局部感知的复合观测空间,通过引入全局平均池化(GAP)层提升特征提取稳
针对未知环境下多智能体协同探索中局部观测受限、全局协作困难及探索效率低等挑战,研究人员提出一种融合距离感知与门控循环单元优化的多智能体近端策略优化(MAPPO)算法。该研究构建融合全局地图与局部感知的复合观测空间,通过引入全局平均池化(GAP)层提升特征提取稳定性,并设计基于距离的动态调整通信机制以促进邻域智能体间地图信息共享。实验结果表明,该方法在未训练复杂地图中显著降低路径重叠率,明显提升探索覆盖率与训练收敛速度,证实了其在改善多智能体协作效率及环境适应性方面的有效性。
研究背景与问题提出
随着人工智能与机器人技术快速发展,自主智能体在未知或危险区域(如行星表面勘测、灾后搜救、工业设施巡检及大规模仓储物流)的感知与决策需求日益迫切。传统单智能体系统在大规模、动态、高不确定环境中存在感知覆盖不足与任务完成效率低下等局限;多智能体系统(MAS)虽可通过分工协作提升并行性与鲁棒性,但面临高维部分可观测动态环境下个体决策与全局协作的平衡难题。现有基于中心化训练去中心化执行(CTDE)的多智能体强化学习(MARL)方法(如MADDPG、QMIX)在稀疏奖励与范围约束通信场景中仍存在训练不稳定、路径重叠严重或依赖全连接图等缺陷。为此,研究人员以MAPPO为基座,开展一项融合距离触发通信、全局平均池化(GAP)与门控循环单元(GRU)的协同探索研究,论文发表于《Sensors》。
主要关键技术方法
研究人员在50×50网格仿真环境中部署3个同构移动智能体,采用PyTorch 2.7.0实现CTDE架构下的MAPPO框架,Actor与Critic均使用Adam优化器。观测空间设计为双通道特征图(局部占据图编码已探索/未探索/障碍,位置通道编码自身与他者坐标及雷达感知范围),经多尺度CNN(卷积核3×3、5×5、7×7)提取特征后由GAP压缩为128维向量,接入GRU时序建模再送入策略头(5动作:上下左右及静止);Critic输入三智能体通道叠加的全局张量。通信机制设定欧氏距离阈值(25或50),邻域内智能体增量合并局部地图。奖励函数由探索新格+1、碰撞?10、每步?0.2组成。训练用7张异构图(矩形/L形障碍密度不同),测试含训练内Map I/II与未训练Map III,另设100×100零样本迁移图Map IV/V。
研究结果
3.1 MAPPO模型框架:研究人员沿用CTDE范式,集中式Critic用全局状态与联合动作估计价值函数,去中心化Actor仅依赖局部观测决策,以带裁剪的近似目标函数稳定策略更新。
3.2 奖励函数:探索奖励、步数惩罚、碰撞惩罚三者互补,诱导智能体优先未覆盖区、抑制无效移动、规避冲突。
3.3 观测空间:双通道2×H×W特征图分别承载局部占据状态与他者位置/感知足迹,数值偏移编码区分障碍(1.5)/空闲(0.5)/他者(?0.5)等要素。
3.4 通信机制:距离触发式显式地图交换,仅在通信半径内合并局部地图,突破纯局部观测的信息孤岛。
3.5 循环神经网络:以GRU替代LSTM,合并遗忘/输入/输出门为重置门与更新门,降低参数并缓解长程依赖训练难度。
3.6 算法框架:CNN多尺度提取→GAP压维→GRU→Actor输出动作;Critic对通道融合全局张量卷积得标量价值,形成闭环。
4.1 仿真环境:50×50格点,三态顶点(未探索/已探索/障碍),全覆盖与避碰约束。
4.2 实验设置:3环境并行采样,7训练图随机初始化,超参见表1。
4.3 对比实验:DGR-MAPPO相对标准MAPPO在Map I/II/III平均探索率提升9.6%/25.3%/34.5%,Map III方差由0.0157降至0.0011,最小探索率保底0.8以上(标准MAPPO崩至0.1852);收敛步数279–318步内完成(标准MAPPO 350步未收敛);BFS虽峰值高但无自适应,复杂图效率不及。
4.4 GAP与全连接消融:MAPPO-GAP在Map II平均探索率0.9076(FC为0.8127),Map III最低值0.832(FC为0.3573),方差0.0003–0.0011,证实GAP保空间语义、抑过拟合。
4.5 通信机制消融:NOCOM路径重叠最高,COM25次之,COM50(即DGR-MAPPO)重叠最低、收敛最快;通信距离增大提升信息共享时效但增计算负担。
4.6 GRU消融:MAPPO-GRU训练曲线波动更小,未训练图20轮测试探索率起伏显著低于NOGRU,证时序记忆抗局部最优。
4.7 智能体数量消融:N=3为饱和点,N由2增至3边际覆盖增益大、收敛从391步降至约300步内;N>3覆盖增益<0.01/智能体,路径重叠线性累积(每增1体+约0.03)。
4.8 零样本100×100迁移:不改架构(CNN自适平均池化接受变尺寸),Map IV均探索率0.819(最佳0.881),Map V均0.687(最佳0.827),证策略非记图而是可泛化协作。
讨论与研究结论翻译
讨论指出DGR-MAPPO三模块形成“信息获取→特征压缩→时序记忆”闭环:距离通信扩有效视野,GAP将梯度集中于卷积核,GRU在通信受限时补历史上下文。智能体数饱和点N=3源于成对通信机制固有属性;万格地图千步预算临近上限,物理部署需考虑差速/全向运动学微调;当前仅静态仿真。未来方向包括动态障碍扩展、可学习通信范围、分层子目标探索、基于N=3饱和律的元学习动态智体数调节。
结论:研究人员提出DGR-MAPPO(Distance-aware GAP Recurrent MAPPO),在CTDE-MAPPO上集成距离感知通信、GAP替全连接、GRU时序建模与双通道观测,于未知网格环境协同探索中相较标准MAPPO在三类测试图平均探索率提升9.6%/25.3%/34.5%,Map III方差降14.3倍,最小探索率保底0.8,收敛279–318步;消融证各模块独立贡献;N=3为覆盖饱和点;零样本迁至100×100获0.819/0.687均探索率。该方法在灾后搜救、工业巡检与仓储物流具部署潜力,但极端确定场景平均率仍低于BFS 5–8%,反映自适应学习与确定式规划之固有权衡。