在部分观测能力下，用于大规模多智能体路径规划的去中心化基于模型的ACKTR方法

《Electronics》：Decentralized Model-Based ACKTR for Large-Scale Multi-Agent Path Planning Under Partial Observability

　　

部分可观测性下的多智能体路径规划（MAPP）要求智能体协调运动并高效完成任务，而无需获取全局信息。规划空间和协调复杂度随智能体、目标和障碍物数量的增加而快速增长。研究人员将大规模MAPP建模为部分可观测网络化马尔可夫决策过程（PO-NMDP）。基于此，提出了一种分散式基于模型的Actor-Critic using the Kronecker-factored trust region（DM-ACKTR）算法。该算法将局部模型学习与基于ACKTR的策略优化集成在独立学习架构中。每个智能体学习一个局部模型来预测下一观测和奖励，这些预测用于构建额外的转移样本用于Actor和Critic更新。基于邻域的通信机制将附近智能体的信息纳入价值估计中。区域划分减少了每个智能体的有效规划空间。这些改进使DM-ACKTR在MAPP问题规模增大时持续优于基线算法。在三个训练场景和五个评估场景中的实验表明，DM-ACKTR取得了最佳整体性能。在五个评估算法中，它始终获得最高的任务完成率（TCR）和最低的碰撞率（CR），相对于各自最优基线，TCR提高了2.06–4.35%，CR降低了11.26–25.95%。

大规模多智能体系统（MAS）在工业、交通、军事等领域应用日益广泛，其中多智能体路径规划（MAPP）旨在为多个智能体寻找从起点到指定目标的最优无碰撞路径。然而，随着智能体、目标和障碍物数量增加，规划空间和协调复杂度急剧增长；同时，有限感知范围、外部干扰和传感器故障导致部分可观测性，进一步增加了路径规划难度。现有基于多智能体强化学习（MARL）的算法，无论是集中式训练集中式执行（CTCE）还是集中式训练分散式执行（CTDE）范式，在大规模场景下均面临可扩展性挑战，而独立学习（IL）范式虽具有良好可扩展性，但存在非平稳性和协调不足问题。为此，研究人员提出了一种基于IL范式的分散式模型学习算法DM-ACKTR，旨在解决大规模部分可观测MAPP中的可扩展性和通信约束问题。该研究发表于《Electronics》。

为开展研究，作者主要采用了以下关键技术方法：首先，将MAPP问题建模为部分可观测网络化马尔可夫决策过程（PO-NMDP），并基于两轮差速驱动模型定义智能体运动模型。每个智能体维护一个局部预测模型，以自身局部观测和动作为输入，预测下一观测、奖励和终止概率，并通过分支展开机制（从真实轨迹中随机采样初始观测进行有限长度模型展开）减少模型误差累积。算法采用分散式Actor-Critic架构，其中Critic使用k-跳邻域内智能体的观测来近似扩展价值函数，并利用Kronecker分解近似曲率（K-FAC）方法进行自然梯度更新，同时结合信任区域约束优化策略。此外，采用邻域通信机制限制信息交换至k-跳邻域，并通过区域划分将任务区域分为四个象限，每个智能体优先访问其所在象限的目标，从而降低规划空间和冲突。

研究结果部分如下：

5.1 实验设计：任务区域为正方形，设置三个训练场景（智能体/目标数分别为10/30、20/60、30/100）和五个评估场景（不同规模及密度）。MAPPO、IPPO作为训练基线，同时引入CBS和ORCA作为非RL基线。评估指标包括平均奖励、任务完成率（TCR）、碰撞率（CR）和最长路径长度。

5.2 算法训练实验：在三个训练场景中，DM-ACKTR均收敛到最高平均奖励、最高TCR和最低CR。例如，当智能体/目标数为30/100时，DM-ACKTR的收敛平均奖励为118.48，高于MAPPO（89.34）和IPPO（102.85）；TCR为96.45%，优于MAPPO（92.79%）和IPPO（93.06%）；CR为2.30%，低于MAPPO（3.70%）和IPPO（4.40%）。随着问题规模增大，DM-ACKTR的优势保持稳定。

5.3 算法消融实验：对通信机制、区域划分和模型学习三个模块进行消融，结果显示通信机制对平均奖励、TCR和最长路径长度影响最大；区域划分显著降低CR；模型学习改善了所有四个指标，验证了各模块的贡献。

5.4 算法评估实验：在五个未见过的大规模评估场景中（500次测试），DM-ACKTR在所有场景中均获得最高TCR和最低CR，且与多数基线相比具有统计显著性。CBS和ORCA在最长路径长度上优于DM-ACKTR，但这是因为其探索行为少且TCR较低导致未访问目标较多，因此该指标不能单独评估。

5.5 路径规划仿真实验：在分区和非分区环境下绘制了10个智能体的轨迹图。DM-ACKTR在分区环境下轨迹受空间约束明显，跨区域干扰减少，且最长路径长度最短；IPPO轨迹最混乱，频繁交叉。

总结讨论部分：实验结果表明，DM-ACKTR通过局部模型学习、邻域通信和区域划分，有效利用局部信息，在不同大规模场景下实现了优于基线算法的综合性能，验证了算法的可行性和可扩展性。研究结论部分翻译如下：为解决大规模和部分可观测场景下的MAPP问题，本文提出了基于分散式IL范式的路径规划算法DM-ACKTR。该算法通过局部模型学习近似转移动态，利用预测模型生成额外样本用于Actor和Critic更新，无需直接从真实环境采集；模型预测和价值估计仅使用k-跳邻域内的信息，限制了智能体间信息交换。实验结果表明，在不同大规模场景下，DM-ACKTR始终获得比基线算法更高的平均奖励和TCR，以及更低的CR，展示了其在测试问题规模上的可扩展性。轨迹分析进一步表明，区域划分有效约束了智能体移动并减少了跨区域干扰和路径冲突。DM-ACKTR为大规模、通信受限的MAPP提供了一种可行方法。然而，当前k-跳通信机制假设多跳信息交换可在单个决策步内完成，未考虑通信延迟或丢包，未来工作将研究具有复杂通信条件和动态障碍物的环境下的MAPP。