用于动态环境中大规模无人机群协同导航与避障的HiPS-DFMFSAC算法

《Knowledge-Based Systems》：HiPS-DFMFSAC for Large-Scale UAV Swarm Cooperative Navigation and Obstacle Avoidance in Dynamic Environments

　　摘要为了解决大规模无人机集群中存在的维度灾难与环境非稳定性问题，我们提出了HiPS-DFMFSAC算法。通过全局参数共享和基于注意力的动态融合，该框架将交互复杂度从O(n2)降低到O(n·k)，使得在无人机数量从50增加至100时，训练时间仅增长1.89倍，而独立网络基准方法的计算开销则增长了2.66倍。在标准场景下，HiPS-DFMFSAC的成功率可达99.30%，分别比MFSAC和PS-SAC基准方法高出31.30%和21.67%。此外，该算法在高度动态的环境中仍能保持96.06%的成功率，并且具有很强的可扩展性，当无人机数量从50增加到150时，其平均成功率仅下降1.91个百分点。最后，通过消融实验定量分析了各核心组件的作用，结果表明分层经验回放和动态融合分别能使成功率提升38.5%和12.3%。

引言无人机技术的快速发展使其在物流、农业和救灾等民用领域得到了广泛应用[1]。与单架无人机相比，无人机集群系统通过乘性扩展效应，具备了强大的任务执行能力，能够实现多方向、多批次和高密度的覆盖[2]。然而，在复杂的城市环境或灾后碎片场中，无人机集群会面临众多静态和动态障碍物的巨大挑战。如何在不断变化的环境中让大规模无人机集群实现安全高效的协同导航，已成为无人系统发展中的核心问题[3]。研究人员已经经历了从传统算法到智能学习方法的多个发展阶段。早期关于导航和避障的研究依赖于人工势场[4]、快速随机树算法[RRT][5]、A*算法[6]以及概率路线图[7]等传统算法，这些算法实现简单，在静态环境中表现良好。近年来，研究人员不断对传统算法进行改进。黄等人开发了一种基于密度梯度-RRT的算法，通过动态梯度采样优化随机树的扩展，从而提升了无人机在复杂环境中的路径规划效率[8]。李等人则为固定翼飞机的避障需求改进了A*算法，通过专门的数据结构和转弯角度约束提升了路径的平滑度与规划速度[9]。除了传统的路径规划技术，近期的启发式和元启发式算法在无人机轨迹优化方面也展现了出色的性能。例如，来回算法[BaF]能够在复杂的几何约束下高效生成高质量的候选轨迹[10]，而免疫等离子体算法及其改进版本则具备强大的全局搜索能力，在优化无人作战飞行器路径方面表现出高可靠性[11,12]。不过，这类基于群体的优化方法通常更适合在已知地图或准静态威胁环境中进行离线全局路径规划。而在本文所研究的那种大规模集群场景中——其特征是动态变化的禁飞区、有限的通信条件以及大量的多智能体交互——若在每个实时控制步骤都进行全局迭代搜索或启发式重规划，将会带来巨大的计算负担。

深度强化学习[DRL]的出现为解决动态路径规划问题提供了新的思路[[13], [14], [15]]。DRL算法兼具强化学习的决策能力和深度学习的感知能力，有助于无人机在复杂多变的环境中实现自主导航[16,17]。然而，单智能体DRL无法处理多个智能体之间的交互与协调问题。因此，多智能体强化学习[MARL]算法应运而生。例如，Aschu等人[18]提出了一种去中心化的多智能体深度强化学习方法，用于实现两架无人机在目标平台上的精准着陆。Yuksek等人[19]则提出了一种基于近端策略优化的集中式路径规划方法，其在两架无人机的小规模编队中表现优于粒子群优化等基准方法。Xu和Chen[20]则提出了一种改进的MADDPG算法，用于训练三架无人机集群执行协同导航与追避任务。这些研究表明，当智能体数量较少时，MARL算法确实可以有效解决无人机协同任务中的精准着陆、导航规划及追避等问题。然而，当智能体数量大幅增加至百级时，MARL算法面临着三个关键挑战[21]：维度灾难、环境非稳定性以及交互建模的复杂性。首先，观测-动作空间的指数级扩张使得收敛变得愈发困难；其次，多智能体同时学习会导致较高的非稳定性，影响收敛的稳定性；最后，智能体间交互作用的二次方增长会引发计算瓶颈和协调不一致的问题。

为了解决这些大规模挑战，研究人员在MARL基础上进行了持续探索。Battocletti等人[22]利用策略复用性来实现无人机编队的协同规划，但这种通用策略并未考虑无人机间的动态交互关系以及环境不确定性。Zhao等人[23]提出了一种基于参数共享的多无人机协同导航算法，允许多架无人机共享同一个策略网络，从而加快收敛速度，并避免因智能体数量增加而导致的维度爆炸问题。不过，该方法并未对智能体间的协作结构进行建模，导致智能体更像是群体中的自私个体，而非真正的协作团队。此外，该算法仅在静态环境中进行了验证，未考虑动态障碍物对协作结构的影响。Kong等人[24]将多无人机任务建模为部分可观测马尔可夫决策过程[POMDP]，以应对动态多障碍环境，但其性能随智能体数量增加的可扩展性仍有待验证。Wu等人[25]提出了一种基于距离加权的平均场去中心化执行方法，用于随机环境中的多智能体避障，使智能体能够根据邻居距离动态量化交互强度；但在高密度集群场景中，协调信号的有效传播仍然不足。Zhao等人[26]提出了MW-MADDPG算法，通过整合元学习与优先经验回放提升了收敛效率，但其在大规模智能体数量增加时的可扩展性尚未得到充分验证。Yang等人[27,28]提出了平均场多智能体强化学习框架，将该框架将复杂的多智能体交互简化为单个智能体与其邻居平均效应之间的二元交互，从而有效提升了系统的可扩展性。然而，该框架采用静态的等权重聚合方式，隐含地假设邻居影响的分布是均匀的。在存在突发障碍物的高度动态或非稳定环境中，这种简单的平均处理方式可能会掩盖关键的高风险信息，导致智能体对环境变化的感知迟缓[29]。此外，现有的大规模方法大多在静态或准静态环境中进行了验证，缺乏针对状态转换具有高度随机性的场景的适应性研究。

具体而言，现有方法在大规模协同任务中面临三大主要挑战：（1）维度灾难与计算瓶颈：当智能体数量增至数百时，观测-动作空间会呈指数级扩张，训练成本也会急剧上升，这阻碍了效率与可扩展性之间的平衡。（2）动态环境非稳定性：对移动障碍物的建模不足以及应对时变情况的适应性较差，限制了智能体对动态环境变化的有效响应。（3）高不确定性下的协作建模：随机状态转换与部分可观测性，再加上不完善的智能体协作建模，都会妨碍紧急情况下的响应。因此，需要一种全面的方法，以确保在动态且不确定的环境中实现快速收敛，同时提升集群的协同性与鲁棒性。

基于上述研究需求，本文提出了一种名为HiPS-DFMFSAC的新型多智能体强化学习框架，旨在解决大规模无人机集群在复杂多变且高度不确定的环境中的协同导航与避障问题。该框架通过将分层经验学习、动态融合平均场近似理论以及参数共享机制深度集成到最大熵强化学习框架之中，系统性地解决了上述三大挑战。具体创新点如下：1. 将平均场近似理论嵌入到SAC价值函数中，通过将通信范围内的邻居动作构建为局部平均场作为状态增强，从而将联合动作空间从O(∣A∣N)降低到O(∣A∣)，在解决大规模系统维度灾难问题的同时保持了可扩展性和交互建模能力。2. 为所有智能体构建了一个共享的单一演员-评论家网络，从而使网络参数的数量与智能体数量解耦。通过整合查询-键注意力模块，可实现邻居动作的动态融合，使共享策略能够适应邻居配置和局部拓扑结构的变化，进而提升系统的去中心化执行能力。3. 设计了三级异构经验缓冲区，通过差异化的采样策略和严格的过滤规则，强化对稀疏关键事件的学习并剔除无效样本。此外，还构建了多目标融合奖励函数，引导无人机集群表现出安全高效的分布式协同行为。

本文的其余结构如下：第2节阐述问题建模；第3节介绍理论基础及所提出的算法；第4节详细说明HiPS-DFMFSAC算法在无人机集群协同导航中的应用设计；第5节讨论仿真设置与结果分析；最后，第6节对全文进行总结。