基于博弈方法的多集群系统分布式最优双层编队控制

《Automatica》：Distributed optimal double-layer formation control for multi-cluster systems by a game-based approach

　　摘要：本文探讨了一种多集群系统中的分布式最优双层编队控制问题，这类问题目前研究较少。具体而言，每个集群中的智能体需要形成特定的形状，同时各集群的质心也需遵循既定的几何模式。除了这一双层编队任务外，智能体还需同时解决一个全局优化问题。本文主要面临以下挑战：（1）如何处理集群间及集群内的编队问题；（2）如何同时实现双层编队控制与全局优化；（3）如何估算所有智能体均未知的各集群平均状态。为实现最优双层编队控制，首先构建了多集群聚合双层编队（MCADF）博弈模型。在该模型基础上，提出了一种高效的广播方法来估算并传播各集群的平均状态。此外，通过引入正则化技术、梯度算法、动态平均共识协议以及“改进”的共识跟踪协议，建立了多集群聚合博弈的分布式纳什均衡求解策略。通过李雅普诺夫稳定性分析可正式证明，所提出的策略能够引导智能体实现最优双层编队。最后，通过一个多目标包围问题的数值仿真示例，验证了该方法的有效性。

引言：近年来，作为多智能体系统中的关键问题，编队控制受到了研究人员的广泛关注（Dong和Hu，2016；Oh等人，2015；Zhang等人，2025）。协调多个智能体的运动以实现期望的编队形状，对于航空航天观测（Li等人，2022）、交通监控（Menouar等人，2017）、救援行动（Liu等人，2024）等领域至关重要。然而，现有的分布式编队控制研究大多集中在单集群编队问题上（例如Kang和Ahn，2016；Lu等人，2020；Millán等人，2014；Park和Yoo，2019及其参考文献）。尽管这些控制器能有效调节单集群内智能体的空间分布，但在处理多集群系统中更为复杂的协同行为时可能力不从心，而这类系统在大型系统场景中尤为重要（Huang等人，2021）。通过协调多个集群中智能体的状态，多集群系统能够实现更为复杂且同步的行为，从而提升系统的适应性并提高任务完成效率。例如，虽然单集群系统中的目标包围技术已得到深入研究（López-Nicolás等人，2020；Zheng等人，2015），但单集群中的智能体难以包围分布稀疏的多个目标。因此，将智能体分解为多个集群有助于简化包围任务。此外，在涉及多种异构搜索与救援设备的源定位任务中，将设备划分为多个集群有助于覆盖更广阔的搜索区域。

鉴于上述优势，仅要求集群内部编队的多集群系统编队控制也受到了一定关注（Ge等人，2018；Han等人，2017；B. Huang等人，2024；Huang等人，2021）。不过，集群间的协同同样重要。例如，在大规模源定位任务中，合适的集群间编队形状有助于实现和谐协作，避免重复劳动和遗漏，进而提升任务整体效率。此外，人们普遍认为，集群间通信的质量和成本与各集群之间的距离直接相关（Goldsmith，2005）。保持适宜的集群间编队形状有助于维持高效通信并进一步降低成本。因此，与Ge等人，2018；Han等人，2017；B. Huang等人，2024以及Huang等人（2021）的研究不同，我们的目标不仅包括集群内部编队控制，还包括集群间及集群内部的编队控制。这不仅要求每个集群内的智能体保持期望的编队形状，还要求各集群的质心遵循预定的集群间配置。这一额外要求为控制任务带来了更大的复杂性和挑战。此外，在多目标包围问题中，智能体不仅要实现集群间和集群内的编队，还要尽可能靠近指定的目标，因为这有助于提高捕获目标的成功率。受De Villeros等人，2023；Huang等人，2023；Jiang等人，2022；Shi和Ye，2024；Shi等人，2024以及Ye等人（2025）的启发，本文也旨在以最优方式实现这种集群间和集群内部的编队控制，而这类研究目前还较为少见。与现有研究相比，本文的主要贡献和创新点如下：（1）提出了一种新的多集群系统分布式双层编队问题模型。与Han等人，2017；B. Huang等人，2024；Huang等人，2021以及Ge等人（2018）的不同，智能体不仅要实现每个集群内的期望形状，还要确保各集群的质心能遵循特定的几何模式。除集群内和集群间编队任务外，智能体还需优化全局目标函数以提高编队性能。（2）提出了多集群聚合双层编队（MCADF）博弈模型，将该最优双层编队控制问题转化为一种将集群内与集群间协调以及全局目标优化相结合的博弈决策过程。（3）提出了一种纳什均衡求解策略来解决MCADF博弈问题，进而解决最优双层编队控制问题。该求解策略基于梯度算法、正则化技术、动态平均共识协议以及“改进”的共识跟踪协议构建。值得一提的是，受Ye等人（2025）的启发，共识模块是基于一种高效的通信方案构建的，该方案仅让部分智能体参与集群间信息交换，这与Chen和Yi，2024；B. Huang等人，2024；Huang等人，2021以及Nian等人（2021）的方法有所不同。通过李雅普诺夫稳定性分析，可证明所提求解策略的稳定性。

相关研究：近年来，编队控制领域得到了大量研究（De Villeros等人，2023；Ge和Han，2017；Ge等人，2018；Han等人，2017；Huang等人，2023；B. Huang等人，2024；Huang等人，2021；Jiang等人，2019；Shi和Ye，2024；Shi等人，2024；Yang等人，2022；Zhang等人，2023；Zuo和Yue，2020）。例如，Mondal等人（2017）提出了分布式控制律，以实现编队形成与避碰功能的同步。为降低通信成本，Ge和Han（2017）在分布式编队控制算法中引入了动态事件触发机制。针对收敛时间的要求，Yang等人（2022）研究了具有饱和输入的非线性多智能体系统的预定时长编队控制问题。Jiang等人（2019）通过输出调节方法，解决了具有多个领导者/目标的多智能体系统的时变编队控制问题。Zuo和Yue（2020）以及Zhang等人（2023）分别考虑了恶意攻击和事件触发机制的影响。此外，为进一步提升编队性能，还有多项关于最优编队控制的研究成果（De Villeros等人，2023；Huang等人，2023；Jiang等人，2022；Shi和Ye，2024；Shi等人，2024；Sun等人，2021；Ye等人，2025）。在这类问题中，除了编队任务外，智能体还需面临全局优化任务。Huang等人（2023）研究了二阶智能体在最优编队控制中的避障问题，并建立了一种分布式优化方法（De Villeros等人，2023）来实现预定时长的最优编队。最近，Shi和Ye，2024；Shi等人，2024以及Ye等人（2025）利用博弈论框架实现了编队形成与全局优化的同步。然而，这些研究仅考虑了单集群编队控制问题，很难应用于多集群系统中更为复杂的多任务协调问题。

近年来，多集群系统引起了广泛关注。Ye等人（2018）对多集群博弈进行了基础性研究，随后Y. Huang等人，2024；Nian等人，2021以及Yan和Hayakawa（2024）分别从资源调度、电力市场以及激励设计等方面对其进行了进一步探索。尽管取得了这些进展，但关于多集群系统编队控制的研究仍然有限。Han等人（2017）研究了非线性跟随型多智能体系统的多集群编队控制问题。Ge等人（2018）则考虑了多集群编队中的非周期性采样和通信延迟问题。此外，B. Huang等人（2024）和Huang等人（2021）基于多集群聚合博弈方法，研究了具有编队约束的多集群系统的分散式非线性定位问题。然而，这些研究仅涉及集群内部编队控制问题。如何在优化编队性能的同时实现集群间和集群内部的协同编队，仍是一个亟待研究的难题。需要指出的是，为智能体之间的集群内部及集群间信息交换构建可靠的通信方案至关重要。传统的层次化通信方案依赖于中心节点，而中心节点容易发生故障（Chen和Yi，2024）。因此，B. Huang等人，2024；Huang等人，2021以及Nian等人（2021）考虑了分布式通信方案。但在实际硬件实现中，这些方案需要在每个时间步维护和更新大量变量，这会给本地微处理器带来较大的内存占用和每次迭代时的通信带宽压力。为减轻这一计算负担，本文提出了一种高效的通信机制，与Chen和Yi，2024；B. Huang等人，2024；Huang等人，2021以及Nian等人（2021）的不同之处在于，只有部分智能体需要参与集群间通信。基于该通信机制，“改进”的共识跟踪协议被用来向所有智能体广播所需信息，从而减少所需变量并提升计算效率。

论文结构：第2节介绍了一些图论相关的符号和基础知识。第3节阐述了我们要解决的问题模型。第4节给出了主要研究成果，包括高效的通信机制、该问题的博弈论建模、所提出的纳什均衡求解策略以及相关的稳定性分析。第5节对所提方法进行了数值仿真研究。第6节对全文进行总结。

符号说明：在本文中，R和RN分别表示实数集和N维实数列向量，其中N为正整数。为简化表达，[(g1)T,…,(g?)T]T被记作col(g1,…,g?)，其中gk是k∈{1,…,?}时的列向量，?为正整数。此外，diag{hi}i∈{1,2,…,N}表示一个N×N维的对角矩阵，其第i个对角元素为hi；diag{hij}i,j∈{1,2,…,N}则表示一个N2×N2维的对角矩阵，其对角元素为h11,h12,…,h1n。

问题建模：本节首先给出问题描述，随后通过一个示例加以说明。此外，还列出了若干必要的假设。考虑一个由N个智能体组成的多智能体系统，这些智能体控制自身的广义位置，以在欧几里得空间中形成特定的编队形状。为构成复杂的期望图案，这些智能体被分为?个集群（?≥2为正整数），这些集群的集合记为K?{1,…,?}，每个集群包含Nk个智能体（Nk≥2也为正整数）。

主要结果：本节首先介绍了一种高效的通信机制。接着定义了多集群聚合博弈，随后将最优双层编队问题重新建模为多集群聚合博弈问题。最后分别介绍了集中式和分布式纳什均衡求解算法，并对其进行了理论分析。

数值示例：在仿真中，考虑了一个由17辆移动速度驱动车辆组成的网络。这些车辆被分为四个集群，每个集群分别包含3、4、4和6辆车。这些移动车辆的动力学模型可以用x?ixk=uixk, x?iyk=uiyk来描述，其中xik=[xixk, xiyk]T∈R2表示集群k中车辆i的位置，uik=[uixk, uiyk]T∈R2则表示速度输入。此外，这些车辆还有两项主要任务：实现双层编队结构。结论在本文中，我们研究了多集群系统的最优双层编队控制问题。具体而言，参与其中的智能体被划分为多个集群，不仅每个集群内的智能体需要保持所需的几何形态，各集群的质心也需要维持特定的几何结构。同时，该问题还涉及到全局优化问题的解决。为此，我们构建了一种结合了正则化技术的MCADF博弈模型。施俊于2021年在中国江苏省常州市大学获得自动化专业工学学士学位，目前他在南京理工大学自动化学院攻读控制科学与工程专业的博士学位。他的研究兴趣包括编队控制、博弈论、分布式优化及其应用领域。施俊|叶茂娇|颜雨月|肖顺远|丁雷