基于简化强化学习的分布式共识神经网络控制,用于二阶不确定非线性多智能体系统

《Applied Mathematics and Computation》:Simplified reinforcement learning-based distributed consensus neural network control for second-order uncertain nonlinear multi-agent systems

【字体: 大 中 小 】 时间:2026年05月05日 来源:Applied Mathematics and Computation 3.4

编辑推荐:

  标题:豪伊武·安·张|Chanyong Lee|Cheolhyeon Kwon 韩国蔚山国立科学技术院(UNIST)机械工程系,蔚山,44919 摘要 非线性多智能体系统(MAS)的性能受到非结构化动态行为和非结构化控制系数的严重影响。为应对这些挑战,本文提出了一种

  标题:豪伊武·安·张|Chanyong Lee|Cheolhyeon Kwon
韩国蔚山国立科学技术院(UNIST)机械工程系,蔚山,44919

摘要
非线性多智能体系统(MAS)的性能受到非结构化动态行为和非结构化控制系数的严重影响。为应对这些挑战,本文提出了一种基于径向基函数神经网络(RBFNN)的自适应强化学习控制方案,并结合了扰动观测器(DO)。首先利用RBFNN机制近似非结构化控制系数,而DO则主动减轻非结构化动态行为和不确定性的不利影响。在RBFNN和DO的帮助下,系统地开发了一种基于演员-评论家神经网络(ACNN)的简化强化学习(SRL)分布式反步共识控制方案,以优化控制策略并显著提升整体系统性能。从李亚普诺夫理论的角度来看,所提出的控制方案被证明是稳定的,满足半全局一致最终有界条件。通过与现有基线的比较,通过数值模拟验证了其有效性,显示出在控制性能、控制系数近似以及非结构化动态行为估计方面的显著改进,从而提升了输出共识效果。

引言
多智能体系统(MAS)从传统的单智能体非线性系统演化而来,由于其固有的灵活性和学习能力,已成为一个重要的研究领域。这一演化推动了现代工业的显著进步,广泛应用于机器人操作器[1]、液压系统[2]、无人机[3][4]以及民用和军事技术[5]等领域。开发针对MAS的鲁棒和自适应控制策略一直是一个高度活跃的研究方向,已经成功展示了多种方法,尤其是在分布式共识方面。例如分布式协作控制[3][4]、H∞控制[6]、事件触发方法[7][8][9][10][11]、自适应模糊控制[12]、基于神经网络(NN)的控制[13][14]、基于输出反馈的控制[15]以及基于观测器的自适应控制[16],每种方法都对其共识行为提供了理论保证。尽管取得了这些成功,但大多数研究假设动态行为部分或完全已知。实际上,由于外部干扰、内在的非结构化不确定性和延迟的存在,获得MAS的精确动态模型非常困难,这限制了现有MAS控制方案的实际效果。因此,解决这一建模差距及其对控制性能的影响是本文的主要目标。

在大多数现有文献中,不确定的非线性MAS的控制系数被视为前提条件,而其他动态行为则假设由于建模错误或参数不确定性而结构不明确,这在实现期望的共识行为时构成了严峻挑战。为了解决这些问题,广泛采用了扰动观测器或通用逼近器,如模糊逻辑系统或基于径向基函数神经网络(RBFNN)的机制[11][12][13][14][15][16][17][18][19][20]。它们在处理未建模的非线性动态行为方面的有效性已通过众多自动应用得到验证[21][22],并扩展到不确定的非线性MAS[23][24][25][26][27][28][29][30][31][32]。然而,大多数关于非线性MAS的研究仅关注未知动态行为,而对耦合非结构化控制系数的问题关注不足。尽管[12]中的作者研究了非结构化控制系数的情况,但他们使用了预定义的上限和下限来制定控制律,以避免直接明确这一未知因素。据作者所知,目前还没有主动近似耦合控制系数以开发控制律的尝试,这增加了MAS背景下控制律推导的复杂性。因此,弥补这一研究空白是本文的主要动机。

在实现MAS共识的同时,分布式控制律的成本特定性能同样重要。在各种MAS的最优控制方法中,基于强化学习(RL)的方法受到了广泛关注,并在提升控制性能方面取得了显著成果。通常使用基于演员-评论家神经网络(ACNN)的RL,其中评论家过程根据演员过程创建的控制动作的奖励(策略)来评估控制质量[33][34]。这些程序通常通过求解哈密顿-雅可比-贝尔曼(HJB)方程得出。然而,求解HJB方程需要系统动态模型,在非结构化动态的情况下实际无法实现。受此问题的启发,引入了一种简化的RL(SRL)机制[5]。一些研究将SRL技术与DO或通用逼近器结合用于最优控制设计[16][24][35][36][37][38][39]。然而,它们没有考虑非结构化控制系数,限制了其在不确定MAS动态中的应用范围。这仍然是在基于SRL的控制框架内对齐非结构化控制系数的巨大挑战。

受现有MAS文献中识别出的研究差距的启发,本文提出了一种新的控制框架,该框架将非线性扰动观测器(DO)和基于RBFNN的机制整合到基于SRL的分布式共识控制架构中,以全面应对不确定非线性MAS中非结构化动态行为的复杂性。首先使用RBFNN技术根据系统状态近似非结构化的耦合控制系数。同时,结合非线性DO来补偿非结构化动态行为,包括干扰。一旦有效地解决了这些非结构化因素,系统变得“透明”,从而能够实现每个智能体的分布式SRL基于最优反步控制(BSC)。通过这种提出的控制架构,调节了各个智能体的输出跟踪性能,确保在整个非线性MAS中实现输出共识目标。本文相对于现有文献的独特贡献总结如下:
1.研究了具有完全非结构化动态行为、未知干扰和非结构化控制系数的不确定非线性MAS。
2.提出了一种改进的非线性DO,以全面应对不确定MAS动态对各个智能体的系统影响。这一特性使本文提出的方法区别于现有研究。
3.开发了一种集成控制架构,将RBFNN与非线性DO协同结合,有效减轻由复杂系统动态和网络拓扑引起的耦合系统效应。
4.建立了一种基于SRL的分布式共识神经网络BSC方案,以优化控制策略,从而显著提升MAS动态的整体共识性能。

本文的其余部分组织如下:第2节提供了控制推导所需的必要预备知识。第3节首先介绍了一般二阶非线性MAS,随后详细介绍了所提出的基于SRL的最优控制方案及其对应的不确定MAS稳定性定理。第4节通过数值模拟验证了所提方法的有效性和鲁棒性。最后,第5节总结了本文并讨论了进一步发展的潜在途径。

**图论**
MAS的通信网络通过图G(N,A,E)表示,其中节点集N=(1,…,M)代表智能体,边集E??×?指定了它们之间的交互。边Ep,i=(?p,?i)∈E表示从节点?p到节点?i的通信流,通常由邻接矩阵A=[ai,p]∈RM×M的条目ai,p指定。如果节点?i可以从节点?p接收信息,则ai,p>0;否则,ai,p=0。随后,入度矩阵Λ=diag(Λ1,Λ2,...)被定义。

**研究的非线性MAS**
考虑一个一般的二阶、非严格反馈的非线性MAS,描述如下:
$$
x^\prime_i = f_1(i)x_i + g_1(i)x_i, \quad x^\prime_2(i) = f_2(i)x_i + g_2(i)x_i, \quad u_i = x_1(i),
$$
其中$x_j(i), j=1,2$是智能体i的系统状态,$x_i = (x_1(i),x_2(i))^T \in \mathbb{R}^2$表示状态向量;$f_j(i)(x_i) \in \mathbb{R}$指定了非结构化动态行为(包括过程噪声、不匹配和匹配的干扰),并限制在二阶导数范围内;$g_j(i)x_i > 0$是非结构化控制系数。

**设置场景**
通过图2所示的网络拓扑,对六智能体(一个领导者和五个追随者)进行了数值模拟,以验证所提出方法的有效性。五个追随者的动态细节如下:
- 智能体1:
$$
f_1(1) = 0.2x_1^2 + \sin^2(x_2^1), \quad g_1(1) = 2.1f_2(1) - 2x_1^3, \quad g_2(1) = 7 + \sin(x_2^1)\cos(x_1^1) + (x_2^1)^3,
$$
- 智能体2:
$$
f_1(2) = 1.5x_1^2 + 0.2(x_1^2)^2, \quad g_1(2) = 2 + 0.2\sin^2(x_1^2) + x_2^2, \quad f_2(2) = 2\sin^3(x_1^2)\cos^3(x_2^2), \quad g_2(2) = 2 + 0.2\sin^2(x_1^2) + x_2^2,
$$
- 智能体3:

**结论**
本文研究了在完全非结构化动态行为和非结构化控制系数影响下不确定非线性MAS的输出共识。首先使用基于RBFNN的近似技术解决了关键的非结构化控制系数问题。随后,利用非线性DO抑制了非结构化动态行为的动态耦合影响。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号