优先级引导门控协同校正的多无人机覆盖控制

《Engineering Applications of Artificial Intelligence》：Priority-guided gated cooperative correction for coverage control with multiple unmanned aerial vehicles

　　

**摘要**
多智能体强化学习是实现协作连续控制的人工智能方法，但其端到端策略往往对何时、如何以及多大程度上协作应影响执行缺乏显式控制，这在安全约束场景中尤为突出，特别是当高维联合观测可能包含大量冗余信息时。为解决这一差距，我们提出了优先级引导门控协作校正（PGCC），一种面向多无人机即时协作足迹覆盖控制任务的多智能体强化学习执行层动作后处理框架。PGCC并非将协作结构完全嵌入端到端策略内部，而是将协作作为显式的执行层机制暴露出来，该机制推断动态优先级层次，传播稀疏协作建议，并通过相位感知和风险感知的门控融合将其注入基础动作。通过这种方式，PGCC在单一透明模块中统一了结构化协作调度、可控动作校正以及向基础策略的确定性回退。优先级学习由物理动机的、基于转移的启发式目标引导，该目标结合实现的单步运动进展与瞬时边际覆盖。在主要的软演员-评论家（SAC）评估中，PGCC增强的流水线显示出更高的成功率和覆盖度、更低的超时率以及更短的成功回合时长，而更严格的空间约束则揭示了场景依赖的安全-效率权衡。一项使用时序延迟深度确定性策略梯度（TD3）的补充实验显示出更早进入后期课程阶段以及方向一致的最终趋势，为与确定性离策略骨干的兼容性提供了额外证据。

**引言**
在鸟群和鱼群等自然群体中，互动结构会随任务上下文和局部信息而变化。少量知情个体可以影响群体运动，而椋鸟群的经验研究表明，个体与有限数量的拓扑邻居互动，而非固定度量半径内的所有邻居（Ballerini et al., 2008; Couzin et al., 2005）。受这些观察的启发，我们研究了多智能体系统的一项关键能力：从高维联合观测中推断何时协作、与谁协作以及协作程度如何，而不需要手动预先指定固定领导者或固定的智能体间协作链接。我们进一步考察这种调度是否可以在执行时显式调节协作干预，同时暴露任务可靠性与执行效率之间的权衡。

多无人机协作覆盖是验证这些能力的代表性场景（Pham et al., 2018）。该任务要求智能体在同时满足性能目标的同时遵守物理约束，如碰撞避免和边界限制。智能体必须在动态邻居和静态障碍物的影响下规划协作轨迹。由于障碍物和邻居限制可行运动，解空间可能变得非凸且碎片化。因此，追求更高效率会增加违反安全余量的风险，导致局部最优或迂回路径（Pan et al., 2022）。因此，在不牺牲安全余量的前提下实现流畅协作仍然是核心挑战。

现有的多智能体强化学习方法通常采用端到端范式，在策略参数中隐式编码协作机制（Lowe et al., 2017; Yu et al., 2022）。尽管在许多场景中有效，但此类策略隐式编码协作因素，使得执行期间难以检查或调节结果交互结构和干预强度（Mahajan et al., 2019）。此外，纯隐式协作可能未暴露透明的执行时回退接口，使得在运行条件变化时更难检查或控制干预行为。这些局限性表明，在安全约束的多智能体连续控制中，协作不仅应被学习，还应作为显式且可控的执行机制暴露出来。

为解决这一差距，我们提出了优先级引导门控协作校正（PGCC），一种作为基础策略网络外部在线动作后处理层运行的执行层协作校正框架。本工作的核心贡献是将结构化优先级推断、稀疏层次建议、相位感知和风险感知的门控融合以及向基础策略的确定性回退整合为多智能体强化学习的统一执行层机制。在此设计下，协作不再完全隐藏在策略参数内部。相反，它成为显式接口，自适应调度哪些智能体对协调施加更大影响、协作建议应如何强烈地干预以及系统何时应回归基础策略。为进一步提高可解释性，我们从瞬时边际覆盖和实现的单步运动进展构建了一个物理动机的、基于转移的启发式目标。该目标为优先级学习提供短期归纳引导，而非长期智能体贡献的因果估计。

本文的主要贡献如下：
1. 我们提出了优先级引导门控协作校正，一种具有向基础策略确定性回退的执行层协作校正框架。该框架将执行层协作逻辑与基础策略网络分离，并将协作作为结构化动作校正的显式机制暴露出来。
2. 我们开发了优先级引导的稀疏建议机制以及相位感知和风险感知的门控融合。该设计使干预强度直接可检查，并根据优先级分离、任务阶段和瞬时空间余量自适应调节协作校正。
3. 我们进行了使用软演员-评论家（SAC）的主要骨干匹配评估和使用时序延迟深度确定性策略梯度（TD3）的补充评估。在评估的SAC设置下，PGCC显示出改进的后期训练任务指标和评估性能，而更严格的空间约束揭示了场景依赖的安全-效率权衡。补充TD3研究表明更早进入后期课程阶段以及方向一致的最终趋势，为与确定性离策略骨干的兼容性提供了额外证据。

**相关工作**
多智能体强化学习在协作任务中取得了显著进展。早期的价值分解方法，如VDN（Sunehag et al., 2018）和QMIX（Rashid et al., 2020），通过对联合价值函数施加可分解性约束来实现隐式协作。然而，这些方法主要为离散动作空间设计，并不直接适用于高维连续控制，其中联合动作最大化和离散化可能变得成本高昂（Peng et al.

**问题建模**
我们考虑一个即时足迹覆盖控制任务。在每个时间步，每个智能体覆盖以其当前位置为中心的圆形足迹，团队覆盖度计算为当前足迹并集覆盖的离散化目标区域网格点的比例。此度量不保留先前访问过的位置；因此，全文中"覆盖"指的是由当前智能体构型决定的瞬时空间量，而非...

**优先级引导门控协作校正**
本节介绍了优先级引导门控协作校正（PGCC），一个放置在基础策略输出之后的模块化执行层协作与校正机制。PGCC接收联合观测和基础联合动作，并产生在环境中执行的动作。以下阐述假设集中式执行，并以软演员-评论家（Haarnoja et al., 2018）作为主要示例。PGCC通过观测-动作...与底层学习器交互。

**学习策略与实现**
本节详细介绍了支持PGCC的学习机制。由于执行优先级是潜在的且没有可用的真值优先级标签，我们构建了一个物理动机的、基于转移的启发式目标，并通过回归训练优先级网络。该目标结合瞬时空间互补性与实现的单步运动进展，为执行调度提供密集的短期引导。

图2提供了该机制的两个视角。图2(a)...

**实验**
在本节中，我们在基于Gymnasium接口实现的二维运动学仿真环境中评估PGCC。每个智能体索引的观测块包含自身-目标特征、有限范围的障碍物和邻居智能体信息，以及第3节定义的任务级量。集中式计算将这些块拼接为联合观测o_t = concat(o_1,t, ..., o_n,t)。基础策略首先产生基础联合动作，随后由...处理。

**局限性与未来工作**
尽管PGCC在评估的多无人机覆盖场景中显示了良好的任务性能和执行效率结果，但仍存在若干局限性。

首先，当前的安全相关机制主要在协作层运作。基于距离的风险门衰减PGCC引起的校正，而回退旁路则单独在PGCC被禁用、不可用或遇到运行时故障时将执行返回基础策略动作。由于门控没有显式...

**结论**
我们提出了优先级引导门控协作校正（PGCC），一种面向多无人机即时足迹覆盖控制的执行层动作后处理框架。PGCC通过上下文相关的优先级推断、稀疏层次建议传播以及相位感知和风险感知的双通道门控来增强底层连续控制策略。通过在执行时暴露建议路径和干预强度，该框架提供显式的...

**CRediT作者贡献声明**
Jiaming Zhang：原始草稿撰写、可视化、验证、软件、方法学、调查、正式分析、概念化。Kailong Zhang：论文审阅与编辑、监督、资源、项目管理、资金获取。Dagang Shen：论文审阅与编辑、验证。

**基金**
本工作得到国家自然科学基金[项目编号61972318]、陕西省科技计划项目[项目编号2023-GHZD-47]和航空科学基金[项目编号20171953016]的支持。资金来源在研究设计、数据收集、数据分析、结果解释、手稿准备或提交发表决策中没有发挥作用。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Kailong Zhang报告获得国家自然科学基金的财政支持。Kailong Zhang报告获得陕西省科技计划项目的财政支持。Kailong Zhang报告获得航空科学基金的财政支持。如果有其他作者，他们声明没有已知的...

Jiaming Zhang|Kailong Zhang|Dagang Shen
西北工业大学软件学院，陕西，710129，中国