Markov跳变多智能体系统在切换拓扑下的全局代数Riccati方程与ADP最优一致性控制

《Intelligence & Robotics》：Optimal consensus control of Markov jump multi-agent systems under switching topology

　　

本文研究具有系统参数Markov跳变特性且通信拓扑受Markov切换影响的多智能体系统（multi-agent systems, MASs）最优一致性控制问题。首先，构建代价函数以刻画拓扑切换和系统参数跳变对系统性能的影响。然后，为处理邻居耦合项（neighbor coupling terms, NCTs）对代价函数性能的影响，推导全局代数Riccati方程（algebraic Riccati equation, ARE）以确定最优控制策略。在自适应动态规划（adaptive dynamic programming, ADP）框架内，提出全局形式策略迭代（global policy iteration, GPI）和值迭代（value iteration, VI）算法以求解全局控制策略。随后，从理论上证明所提迭代算法的收敛性，并通过Lyapunov稳定性定理建立系统稳定性。最后，通过仿真示例验证所提出最优控制方案的有效性。

研究背景方面，多智能体系统（multi-agent systems, MASs）的分布式协同控制近年来受到控制理论与工业工程领域广泛关注，一致性控制是其基本问题，目标是根据局部邻域信息设计分布式控制协议，并在任务执行中兼顾资源分配，因此研究重点逐渐转向最优一致性控制。实际中，执行器退化、负载突变和故障等物理事件会引起智能体内部动态参数的随机跳变，Markov跳变系统可用于描述此类结构变化；同时，外部环境因素会导致通信拓扑频繁切换。现有研究多分别关注单系统跳变参数或MASs切换拓扑，对系统参数跳变与通信拓扑切换同时存在情形下的一致性研究不足；同时，多数最优一致性方法需推导耦合Hamilton-Jacobi-Bellman方程，解析求解困难，ADP框架下的PI和VI算法虽被提出，但往往忽视邻居耦合项（neighbor coupling terms, NCTs）对系统性能的影响，NCTs还会导致代数Riccati方程（algebraic Riccati equation, ARE）难以成功推导。因此，研究人员开展同时含Markov跳变参数与Markov切换拓扑的MASs最优一致性控制研究，具有补充现有研究不足并实现ARE框架下最优一致性的意义。

研究人员构建代价函数以刻画拓扑切换与参数跳变影响，采用代价函数重构和加权和将多模式多目标问题转化为单目标问题；定义全局误差向量E(k)和控制向量U(k)，建立全局误差系统；依据Bellman最优性原理构造Hamilton函数，并由一阶必要条件推导全局ARE和全局最优控制律；在ADP框架下提出全局策略迭代（global policy iteration, GPI）和全局值迭代（global value iteration, GVI）算法逼近全局控制增益；利用矩阵单调性、数学归纳和Lyapunov稳定性定理证明算法收敛与闭环稳定性；通过数值仿真和无人机（unmanned aerial vehicle, UAV）动力学算例验证。上述关键技术方法概括不超过250字，且原文无样本队列来源。

研究结果如下。2.1 符号说明：通过定义Kronecker积、实数向量与矩阵集合、单位阵及最小/最大特征值等符号，为后续分析提供记号基础。2.2 图论：通过有向图、邻接矩阵、度矩阵、Laplacian矩阵和牵制矩阵描述领导者—跟随者交互，并以Markov切换信号刻画时变拓扑；在联合图含 directed spanning tree 且切换信号为遍历Markov链的假设下建立分析框架。2.3 问题建模：给出领导者和跟随者的Markov跳变线性动态、局部邻域跟踪误差及各智能体代价函数，明确设计最优控制器使跟随者与领导者达到一致并最小化代价函数的目标。2.4 问题转化：利用转移概率重构各智能体代价函数，并以加权和将多目标问题转为单目标问题；通过定义全局误差E(k)和控制U(k)，得到全局误差系统E(k+1)=ā_gE(k)+B?_?gU(k)，以处理NCTs导致的控制器与跟踪误差难以直接建立线性关系的问题。3.1 最优一致性控制：通过构造全局代价函数和Hamilton函数，由一阶必要条件得到全局最优控制器U^*(k)=?K?^*_?gE(k)，并推导全局ARE；结论表明全局ARE可解决NCTs影响下传统局部ARE无法成功推导的问题。3.2 GPI算法与GVI算法：结合Lyapunov方程给出GPI和GVI迭代形式，指出GPI需预先给定可容许控制，而GVI允许任意初始策略；两者用于逼近全局ARE的解，并给出全局控制器增益的分块表达。3.3 迭代算法性质与系统稳定性：Lemma 1证明GPI迭代代价函数单调非增；Lemma 2证明GVI在P₁?P₀?0时代价函数非减、在P₁?P₀?0时非增；Theorem 1证明迭代控制增益和核矩阵分别收敛到最优K?^*_?g和P^*；Theorem 2以最优代价函数为Lyapunov函数证明误差系统渐近稳定并达到一致性。4 仿真示例：Example 1通过一领导者六跟随者的数值仿真，在参数Markov跳变与Markov切换拓扑下显示所有跟随者状态成功跟踪领导者，局部与全局跟踪误差约8 s收敛至0，GPI和GVI的核矩阵与控制增益迭代收敛；比较结果表明所提方法可在ARE框架下实现最优一致性并缓解NCTs影响，且与已有VI算法保持可比性能。Example 2通过UAV编队动力学算例，在两模式Markov链和切换拓扑下显示局部与全局跟踪误差收敛、GPI和GVI算法收敛，状态曲线表明跟随者始终与领导者达到一致。5 结论：总结讨论部分指出，研究人员针对Markov切换拓扑下具有Markov跳变参数的MASs最优控制问题，采用代价函数重构处理逐模式定义代价函数导致的分析复杂化，构造全局代价函数以减轻NCTs影响并推导全局ARE，基于ADP提出GPI和GVI逼近最优控制器增益，证明算法收敛性和系统稳定性，仿真表明所提控制策略和算法达到与现有文献报道相当的性能并减轻NCTs影响，同时在Markov跳变参数和Markov切换拓扑下确保最优一致性。研究结论翻译如下：研究人员研究了Markov切换拓扑下具有Markov跳变参数的多智能体系统最优控制问题。由于在每个模式下为每个智能体定义代价函数会使优化分析复杂化，采用了代价函数重构方法。随后，构造全局代价函数以减轻邻居耦合项对系统性能的影响，并推导全局代数Riccati方程。在此基础上，受自适应动态规划框架启发，提出全局策略迭代和全局值迭代算法以逼近最优控制器增益。随后，证明了算法的收敛性和系统的稳定性。最后，仿真表明所提控制策略和算法达到与现有文献报道相当的性能，并减轻邻居耦合项影响，同时在Markov跳变参数和Markov切换拓扑下确保最优一致性。未来研究方面，异构多智能体系统中的最优一致性问题具有重要意义；两个Markov跳变过程之间的相互依赖问题也值得进一步研究。此外，实际系统可能遭受网络攻击（如拒绝服务攻击（denial-of-service attacks, DoS）和虚假数据注入攻击（false data injection attacks, FDI）），因此研究网络攻击对多智能体系统性能的影响十分重要。