带知情智能体的无人自主集群在分裂与部分故障条件下的韧性增强方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：A Resilience Enhancement Approach for Unmanned Autonomous Swarm with Informed Agents under Splitting and Partial Failures

　　

摘要

具有知情个体的无人自主集群因其众多在复杂电磁和通信拒止环境中的应用而受到越来越多的研究关注。然而，此类集群容易受到两种典型的故障模式影响，严重削弱其弹性，即由于目标权重不平衡导致的集群分裂，以及可能引发严重级联效应的部分个体故障。本研究提出了一种面向具有知情个体的无人自主集群的弹性增强框架（REF）。首先，REF将基于行为规则的模型与多智能体强化学习（MARL）相结合，开发了一种动态个体行为策略的训练机制，以提高集群拓扑连通性并降低分裂概率。其次，利用增强的连通性，提出了一种基于运动相关性的故障检测与隔离（FDI）方法，用于检测部分故障的个体并将其从集群中隔离。虚拟仿真表明，所提出的框架提高了集群的连通性、目标到达性能和弹性。硬件在环（HIL）实验进一步表明，在故障个体静止、随机运动和反向运动条件下，弹性分别提高至优化前相应值的2.87倍、6.71倍和2.51倍，验证了其在通信拒止环境中的有效性和工程适用性。

引言

随着无人系统的快速发展，无人自主集群已在多种场景中得到了广泛研究和部署，包括区域巡逻[1]、应急响应[2]、环境监测[3]、城市搜索与救援[4]等。然而，在高对抗环境中，强烈的电磁干扰（EMI）[5]严重制约了依赖通信的集群的作战能力。因此，具有知情个体的无人自主集群是一个合适的选择。例如，Couzin[6]仅依靠拥有目标信息的部分知情个体和个体间的局部交互规则即可实现有效导航。其在通信拒止环境中无需通信即可高效执行任务的能力已得到广泛验证[7]。

然而，由于分布式决策和免通信运行的固有特性，此类集群模型在执行任务过程中不可避免地会出现群体碎片化（或分裂）问题[7]。此外，内部和外部扰动进一步对集群构成严重威胁，导致部分个体故障，可能引发严重的级联效应。这两种典型故障模式显著削弱了集群的弹性，并可能导致整个集群崩溃。因此，开发方法和技术来增强具有知情个体的无人自主集群的弹性至关重要。

无人集群的弹性被定义为集群在受到内部和外部扰动时抵抗、吸收并恢复其性能的能力[8,9]。作为一种基本属性，弹性在评估集群在复杂、动态环境中执行任务的能力方面优于可靠性和安全性等传统指标。在弹性增强领域，防分裂[9,10,11]和故障隔离[12]发挥着重要作用。前者保护个体间的信息交换，防止集群在动态演化过程中发生结构解体，从而为集群提供抵抗能力。后者侧重于集群在面对随机和对抗性事件（如外部干扰、组件故障或恶意攻击）时，通过检测和隔离个体故障来恢复的能力。这两种机制相辅相成，共同构成了高弹性无人集群的基石。我们将在以下小节中讨论这两个领域。

集群分裂源于集体行为的分布式特性，即个体智能体仅依赖来自邻居的局部信息做出决策，缺乏对整个集群的全局视图。因此，个体智能体可能偏离集体轨迹，甚至导致集群分裂为不连通的子群。在不分裂的情况下提高到达目标区域的概率是无人集群面临的一个难题。Couzin指出，当对齐区域与吸引区域的比率较低时，无人集群虽然能够形成凝聚的群体行为，但存在50%的分裂概率[6,13]。

从理论上讲，集群防分裂与局部信息约束下的共识问题密切相关。经典的Olfati-Saber集群模型通过分布式交互规则和虚拟领导者引导，为维持集群凝聚力、避碰、速度一致性和群体级导航提供了基础[14]。然而，大多数基于共识/集群的方法需要智能体之间进行显式信息交换，或依赖虚拟领导者/导航员信息的可用性。这些假设在极端通信拒止环境中可能不成立。在虚拟领导者研究的基础上，Lou[15]开发了一种自适应跟随者调整策略，显著增强了集群连通性。然而，该方法计算复杂度较高，难以扩展到大规模集群。为兼顾可扩展性和有效性，Xu[16]提出了一种双向反馈策略来改进领导者-跟随者模型，从而增强集群连通性。该模型引入了两种机制：领导者-跟随者交互权重的自适应平衡机制和跟随者视角调整机制。在该模型中，智能体根据邻近个体的位置和速度计算行为策略。

然而，Xu等人提出的模型在很大程度上依赖于几个关键参数的经验设置。具体而言，视角由经验值确定并限制在3π/2到2π的范围内[16]。此外，知情个体的偏好权重采用预定义的指数函数建模，其参数通过最小二乘拟合来识别。然而，这些参数的最优值可能随集群规模、智能体初始速度等因素而变化，这限制了其实用效果。需要开发一种包含明确参数优化机制的改进方法。

与这些研究不同，本文关注的是更为严格的场景，即智能体无法通信，只能基于纯局部感知做出决策。在此设置下，集群分裂无法通过广播全局信息或施加常规共识控制律直接解决。因此，我们提出了一种基于MARL的自适应防分裂方法，该方法从局部感知的邻居信息中学习状态依赖的行为参数。通过动态调整知情个体的目标倾向权重和跟随者的视角，该方法在保持目标到达能力的同时维持了集群凝聚力。这一区别阐明了所提出框架在免通信、纯局部感知无人集群中的独特学术定位和应用价值。

强化学习（RL）作为一种反馈驱动的序列优化范式，特别适合对动态环境中的无人集群任务进行建模。与依赖标注数据集的传统监督学习不同，RL通过智能体与环境之间的持续交互和奖励反馈来优化策略，从而在适应性和协调性方面展现出显著优势。近年来，RL越来越多地被应用于无人集群领域，包括控制无人机集群进行大规模巡逻和监控[17,18,19]、追踪多个地面目标[20]，以及在军事背景下促进序贯决策过程[21,22]。此外，在弹性增强方面，RL已被证明是对关键基础设施[23]、作战系统[24]和无人设备系统[25,26]恢复的优越方法。然而，专门针对集群防分裂和综合弹性增强的RL研究仍然匮乏。

单智能体强化学习（SARL）基于环境平稳性的假设，即状态转移仅由智能体的动作决定，与外部影响无关。然而，在无人集群中，个体决策与其他智能体的行为本质上相互耦合。这种动态交互创建了一个非平稳环境，使得SARL无法有效地进行集群训练。为解决这一问题，提出了多智能体强化学习（MARL），使智能体能够同时与环境及其同伴进行交互[27,28]。由于这些实时交互，从单个智能体的角度来看，环境变得非平稳；即，即使在相同状态下采取相同动作，状态转移概率和奖励分布也会波动[29,30,31]。为缓解这一问题，引入了集中训练与去中心化执行（CTDE）范式[32]。CTDE在训练过程中利用全局信息来稳定学习，而在执行过程中仅依赖局部观测，从而确保算法的可扩展性和适用于优化协作和竞争集群行为的能力。

近年来关于无人集群的MARL研究越来越关注可扩展性、部分可观测性和结构化协调。基于图的方法已被用于对大规模合作搜索和跟踪中无人机、目标和障碍物之间的动态关系进行编码[33]，而分层MADDPG则在不同的时间尺度上分离战略搜索决策和去中心化运动控制[34]。其他研究将MARL与人工势场相结合以实现连续合作路径规划[35]，采用图注意力Actor-Critic架构进行有限视野下的追捕[36]，或引入学习的通信和分层自主性来提高协调和训练稳定性[37,38]。

相比之下，本研究考虑的是免通信集群，智能体仅依赖纯局部感知。MARL不用于直接生成轨迹或控制输入；相反，它自适应地优化仿生集群模型的行为参数，以平衡目标到达和凝聚力。所得到的防分裂策略进一步与免通信故障隔离相结合，从而在统一的弹性增强框架内解决结构碎片化和部分智能体故障问题。

在MARL广泛应用于集群弹性增强的背景下，本文认为该方法可以有效解决集群防分裂研究中动态策略调整的挑战。然而，对于集群这样的复杂系统，个体运动既受自主动力学支配，又受与邻居交互的影响，导致产生具有涌现特征的复杂行为。传统MARL方法难以有效捕获个体行为策略，集群内复杂的交互仍然难以表征。这些因素限制了MARL方法在解决集群弹性增强问题方面的适用性和可扩展性。

除集群分裂外，个体智能体故障是削弱集群弹性的另一个关键因素。在弹性增强背景下，Dui等人[39]提出了一种延迟替换策略，利用冗余节点来减轻无人机故障，而Li等人[40]开发了一种基于软资源的方法来优化故障后的任务重新分配。然而，与物理摧毁相比，软杀伤——即智能体并非被物理消灭而是被对手颠覆——构成了更为严重的威胁[41]。在这种故障模式下，被攻陷的智能体不仅失去预期功能，还作为内部干扰源，持续破坏邻近健康智能体的合作运行。

虽然集群本身具备一定的自恢复能力，但本研究强调在受到环境扰动或外部损害时增强这种能力。在集群自恢复领域，许多研究人员从容错控制（FTC）的角度提出了各种方法。Yu[42]针对执行器故障的多无人机系统提出了一种有限时间容错控制方法，并使用生成器收集领导者无人机和跟随者无人机的状态数据。当跟随者的执行器故障时，生成器调整领导者的输出以帮助跟随者在有限时间内跟踪它。Boskovi[43]开发了一种编队控制算法以维持无人机之间的相对距离。他们进一步根据不同的故障场景调整集群模型，通过将在线故障检测与诊断单元与可重构控制算法相结合。多项研究调查了多无人机/机器人集群的分布式容错策略。Kamel[44]针对执行器故障下的无人机-UGV编队提出了一种去中心化FTCC方案，通过任务重新分配使剩余机器人继续执行任务，但需要机器人间的通信。Hu[45]为森林火灾监测中的合作导航开发了一种图论网络化框架，以在扰动下保持稳定性。Perez[46]引入了具有故障检测和广播的故障感知处理，并结合冗余级别以提高弹性。Chen[47]通过共享测距信息在复杂环境中检测多个故障，提出了合作容错导航。其他研究人员也从不同角度提出了故障处理方法[48,49,50]。

尽管提出了大量容错方法，但现有方法主要依赖高精度故障诊断和鲁棒通信机制。因此，这些方法不适用于免通信的无人集群模型。在此类系统中，智能体仅基于对邻居信息的局部感知做出决策，这对故障隔离和容错提出了挑战。我们发现，部分故障智能体的运动模式与健康智能体不同，具体表现在位置或速度方向更新中的差异。

通过为智能体配备记忆模块以保留邻居位置数据，可以基于群体位置数据的关联分析有效推断出故障智能体。为了解决现有研究报告中的局限性，我们提出了一种针对配备有感知智能体的无人自主群体的弹性增强框架（REF）。该框架专门针对群体分裂——一种对弹性的固有机制性威胁——以及直接损害系统完整性的扰动这两大挑战进行设计。具体贡献如下：（1）我们提出了一种基于多智能体强化学习（MARL）的方法来解决群体分裂问题。通过优化一种融合连通性、空间一致性和可达性的联合奖励机制，所学习的策略能够动态调整智能体的注意力以在内部扰动下维持群体凝聚力。（2）我们开发了一种基于时空关联的故障隔离方法。该方法通过分析智能体位置更新之间的相关性来识别故障智能体，并将其排除出吸引区交互范围，以减轻其对集体行为的负面影响。（3）我们通过硬件在环（HIL）仿真和虚拟仿真验证了所提出方法的有效性。结果表明该框架在提升系统弹性和可靠性方面具有显著效果。本文其余部分组织如下：第2节介绍无人群体弹性增强框架。第3节介绍基于MARL的群体防分裂训练方法。第4节介绍基于关联分析的群体恢复方法。第5节通过仿真实验验证所提出方法的有效性。第6节总结全文。附录提供补充的HIL仿真结果和图表。

**预备知识**

我们采用Couzin模型[6]作为基线来表示配备有感知智能体的无人自主群体。在Couzin模型[6]中，集体行为被分为排斥、对齐、吸引和归巢四类。有效的导航通过个体之间的局部交互以及一小组拥有目标信息的感知智能体的引导来实现。

考虑由N个智能体组成的无人群体，它们在二维平面上以恒定速度运动。初始位置如下。

**基于神经网络的分形行为策略**

在集体运动中，维持群体凝聚力和高效目标到达能力至关重要，这主要受到感知智能体的目标影响权重ω和未感知智能体的视觉角度θ的影响。较大的ω会使感知智能体偏向其首选方向，削弱局部耦合，增加群体碎裂的风险；而相对较小的ω则强调邻居交互，降低群体整体运动效率。同样，固定的θ忽略了故障智能体的影响。

**部分故障下的群体恢复故障隔离方法**

本节介绍基本的故障机制，随后提出故障识别和隔离的方法，以增强群体在扰动下的自主恢复能力。

**基于仿真的性能研究**

在本节中，我们通过仿真研究所提出框架和方法的性能。首先介绍仿真设置，然后通过与文献[16]中的模型进行比较来研究防分裂性能，最后通过与文献[41]中的模型进行比较来研究故障隔离性能。

**结论**

本文提出了一种弹性增强框架，有效解决了配备有感知智能体的无人群体中的防分裂和故障检测与隔离问题。通过将基于规则的感知智能体群体行为模型与多智能体强化学习相结合，REF使单个智能体能够学习自适应动态行为策略，从而显著提高群体的连通性。此外，为减少故障智能体的影响，我们提出了一种故障隔离方法。

**CRediT作者贡献声明**

白广涵：论文撰写——初稿、资源。周心欣：软件。王晓：调查、数据整理。刘涛：监督、方法论。曾志文：可视化、验证。