基于循环神经网络(RNN)的高阶异构非线性多智能体系统(MAS)在输入约束条件下的最优共识机制
《Neurocomputing》:RNN-based optimal consensus of high-order heterogeneous nonlinear MAS with input constraints
【字体:
大
中
小
】
时间:2026年05月13日
来源:Neurocomputing 6.5
编辑推荐:
张茵燕|熊宇萱|张继莲|耿光刚|李帅
济南大学网络安全学院,中国广州510632
**摘要**
大多数现有的多智能体系统(MAS)共识优化研究仅能实现逆最优性,这可能不满足工业应用的需求。同时,具有输入约束的高阶异构非线性MAS的分布式最优共识问题由于非线性、异构性
张茵燕|熊宇萱|张继莲|耿光刚|李帅
济南大学网络安全学院,中国广州510632
**摘要**
大多数现有的多智能体系统(MAS)共识优化研究仅能实现逆最优性,这可能不满足工业应用的需求。同时,具有输入约束的高阶异构非线性MAS的分布式最优共识问题由于非线性、异构性和输入约束的存在而极具挑战性。为了解决这一问题,我们提出了一种基于循环神经网络(RNN)的方法。该问题通过滚动时域优化进行描述,并通过状态预测的泰勒展开将其简化为可求解的问题。随后,我们开发了一个RNN,从而实现了一种动态的分布式共识协议。我们提供了相应的理论保证,并通过数值实验验证了该方法的有效性。与现有研究的比较进一步证实了我们的方法的优势。
**引言**
作为协作控制的一个基本问题,多智能体系统(MAS)的共识在智能交通[1]和多机器人协作[2]等领域具有广泛的应用。MAS的共识涉及到智能体通过局部通信进行协作,且智能体之间的用户定义差异消失[3]。最优共识指的是当达成共识时,智能体的状态成为给定优化问题的最优解[4]。我们研究的是连续时间MAS的最优无领导者共识[3],其智能体动态由微分方程建模。
已经有许多关于线性MAS最优无领导者共识的方法被报道。例如,孙等人[5]发现传统的最优控制方法(即基于Riccati的方法)会产生一个集中式共识协议。为了解决这个问题,孙等人[5]提出了一种针对有向树图上双积分器MAS的最优共识方法,将问题转化为一个可能计算成本较高的增益参数搜索问题。然而,这种方法采用的性能指标缺乏物理洞察力,且其参数矩阵无法由用户任意设置。这种最优性通常被称为逆最优性,可以证明共识协议在某种成本函数下是最优的。实际上,在过去几年中,已有许多研究沿着逆最优性的方向对线性MAS进行了探索[6]、[7]、[8]。一般来说,基于逆最优性的共识协议是显式的,这在其物理系统部署中是理想的,因为其计算复杂度相对较低。王等人[9]利用交替方向乘子法处理了无向连通通信图上一阶线性MAS的最优共识问题,但该方法没有提供分析性的共识协议。
尽管基于逆最优性的共识协议是显式的,但其最优性本质上是事后验证的,因为首先规定控制律,然后证明其在构建的性能指标下的最优性。这种缺乏直接性和物理可解释性的特点限制了其在实际应用中的实用性。由于智能体动态的非线性,非线性MAS的最优无领导者共识比线性MAS更为复杂。众所周知,当存在非线性时,最优控制变得更加困难。传统的非线性MAS最优共识方法主要基于传统的最优控制方法,例如自适应动态规划[10]、[11]、[12]等,这些方法需要一个初始的可接受策略来保证闭环稳定性,且无法处理智能体的输入约束。值得注意的是,找到一个可接受策略并非易事。此外,这些方法无法提供分析性的共识协议,对于大规模MAS来说,在线计算成本可能很高。为了提高控制性能,一些研究人员还尝试将额外的控制组件集成到基于反步控制的传统控制律中,以实现无领导者共识[13]。张和李[14]提出了一种基于滚动时域性能指标和凸优化理论的逆最优分布式共识协议,最终证明这种分布式共识协议在用户无法设置的参数矩阵下是性能指标的最优解。[14]中的方法在[15]中得到了扩展,用于处理高阶非线性MAS(HONMAS),可以实现逆最优性。然而,逆最优方法缺乏物理可解释性。
循环神经网络(RNN)起源于Hopfield神经网络[16],是一种通过微分方程或差分方程建模的神经网络类型,与前向神经网络不同,因为它存在反馈连接[17]、[18]、[19]。近年来,基于微分方程的RNN也被称为神经动力学[20]。RNN已被广泛应用于解决凸优化问题[17]、时变计算问题[21]、[22]、[23]、操作器的运动控制问题[24]、[25]、[26]以及分布式优化[27]、[28]。一些研究人员利用RNN在多智能体系统中实现共识[29]、[30]、[31]、[32]。例如,李和秦[29]构建了一种基于RNN的分布式优化算法,用于协作解决时变非线性方程,最终实现了最优共识。郭等人[30]将RNN应用于无人直升机的分布式领导者-跟随者形成共识控制中,以处理系统不确定性。李等人[31]提出了一种基于分布式RNN的鲁棒共识控制协议,利用了RNN的反馈和非线性建模能力。在[31]中引入了时延项和优化的激活函数,以实现各种周期性和随机干扰下的预定时间共识。此外,曹等人[32]直接应用了零化神经网络设计了双积分器MAS的共识协议,尽管这种方法是集中式的,可能不适合大规模系统。另外,肖等人[33]提出了一种基于神经网络的自主控制方法,以确保在驾驶命令攻击下多个车队的安全协作,突出了神经网络在提高鲁棒性和安全性方面的作用。
鉴于上述相关工作和相关文献,目前还缺乏一种有效的分布式最优共识方法,用于具有输入约束的异构仿射HONMAS。在本文中,我们利用[14]中采用的泰勒展开方法和精心设计的RNN来解决这个问题。我们的方法能够在确保遵守输入约束的同时,保证与MAS通信拓扑相关的成本函数的渐近最优性,即开发的共识协议接近于用户可设置的通信图的最优解。表1展示了与相关文献的比较,其中传统方法主要局限于低阶或线性智能体系统,基于RL的方法通常需要一个初始的可接受策略且计算开销较高,而现有的基于RNN的方法可以处理各种系统和动态设置,但通常忽略输入约束。据我们所知,现有方法无法在处理输入约束的同时实现高阶异构非线性MAS的分布式最优共识,这突显了我们方法的新颖性。我们的贡献如下:
1) 与现有的研究[34]、[35]、[36]相比,本发明的新颖之处在于开发了一种基于RNN的分布式接近最优共识协议(DNOCP),用于高阶异构仿射MAS,可以显式处理输入约束。所提出的协议确保了性能指标的渐近最优性、MAS的闭环稳定性以及遵守输入约束。
2) 与[14]、[15]中基于泰勒展开的共识方法相比,我们的方法可以实现与异构仿射HONMAS通信拓扑相关的成本函数的渐近最优性。
3) 与[10]、[11]、[12]中基于强化学习的共识方法相比,我们的方法不依赖于初始的可接受策略。此外,我们的方法可以处理输入约束,而[10]、[11]、[12]中未考虑这一点。
本文的其余部分分为5个部分:第2节介绍初步信息和问题表述;第3节描述了所提出的共识协议的设计过程;第4节提供了该方法的理论保证;第5节讨论了数值实验;第6节给出了结论。
**附录**
**初步信息和问题表述**
本节介绍了背景知识。
**协议设计**
设 \(X = [x_1, x_2, \ldots, x_N] \in \mathbb{R}^N\) 和 \(u = [u_1, u_2, \ldots, u_N]^T \in \mathbb{R}^N\)。为了解决复杂的共识问题,我们采用了“系统-of-systems”的思想,通过以下紧凑系统来处理非线性MAS(1):
\[ x^\dot{i} = x_i, \quad i = 1, 2, \ldots, \rho-1, \quad x^\dot{\rho} = F(X) + G(X)u \]
其中,我们有两个函数向量 \(F(X) = [f_1(x_1), f_2(x_2), \ldots, f_N(x_N)]^T \in \mathbb{R}^N\) 和 \(G(X) = \diag([g_1(x_1), g_2(x_2), \ldots, g_N(x_N)]^T \in \mathbb{R}^N \times N\)。通过上述紧凑系统,设计单个共识协议相当于设计一个最优控制律。
**理论结果**
本节我们对DNOCP(14)进行了理论分析。
**数值实验**
对DNOCP(14)进行了数值实验。实验在配备Intel(R) Core(TM) i9-13900HX 5.40GHz CPU、32GB内存和Windows 11操作系统的个人计算机上进行。
**结论**
本文提出了一种基于循环神经网络的分布式接近最优共识协议,用于具有输入约束的异构高阶非线性多智能体系统。研究表明,所提出的分布式接近最优共识协议可以理论上确保遵守输入约束、智能体状态的渐近共识以及接近最优性。数值实验显示了分布式接近最优共识协议的优点。
**作者贡献声明**
张茵燕:撰写——原始草稿、监督、方法论、研究调查、资金获取、形式分析、概念化。
熊宇萱:撰写——原始草稿、可视化、软件开发、形式分析。
张继莲:方法论、研究调查。
耿光刚:方法论、研究调查。
李帅:方法论、研究调查。
**利益冲突声明**
作者声明他们没有已知的会影响本文报告工作的财务利益或个人关系。
**致谢**
本研究部分得到了中国国家自然科学基金(项目编号62206109和62472197)、广州市科技计划(项目编号2025A04J3036)以及中央高校基本科研业务费(项目编号21624201)的支持。张茵燕于2016年在中国广州的中山大学获得自动化学士学位,2019年在中国香港的香港理工大学获得计算机科学博士学位。她目前在广州的济南大学网络安全学院工作。在2019年加入济南大学之前,她是香港理工大学计算系的博士后研究员。她目前的研究兴趣包括安全和控制领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号