基于高阶神经网络和共轭梯度方法的非零和斯塔克伯格博弈自适应最优控制理论分析

《Neurocomputing》:Analysis of adaptive optimal control theory for nonzero-sum stackelberg game based on high-order neural networks and conjugate gradient method

【字体: 大 中 小 】 时间:2026年04月21日 来源:Neurocomputing 6.5

编辑推荐:

  刘云龙|杨晓菲|范秦伟|李欣如 广州大学数学与信息科学学院,中国广州510006 摘要 近年来,连续时间非零和博弈在控制领域的理论与应用研究中受到了广泛关注。然而,现有方法通常依赖于单层隐藏神经网络来近似价值函数,这些方法存在以下三个局限性:首先,网络结构受到限制,

  刘云龙|杨晓菲|范秦伟|李欣如
广州大学数学与信息科学学院,中国广州510006

摘要
近年来,连续时间非零和博弈在控制领域的理论与应用研究中受到了广泛关注。然而,现有方法通常依赖于单层隐藏神经网络来近似价值函数,这些方法存在以下三个局限性:首先,网络结构受到限制,导致近似能力不足;其次,收敛效率低,解决方案容易陷入局部最小值;第三,关于闭环系统稳定性分析等理论成果相对较少。为了解决这些问题,本文提出了一个基于Pi-Sigma高阶神经网络的自适应最优控制框架。通过采用多项式组合策略构建高阶神经网络,提高了价值函数的近似能力。此外,结合共轭梯度法实现了神经网络权重的更高效优化,确保了收敛性并提高了优化效率。基于李雅普诺夫方法证明了闭环系统的稳定性。数值实验和理论分析表明,与传统单层隐藏神经网络方法相比,所提出的算法在收敛效率、近似能力和鲁棒性方面具有显著优势。它为解决复杂的斯塔克伯格博弈问题提供了一种具有理论保证和实际效果的新方法,具有在智能博弈控制中的广泛应用潜力。

引言
博弈论在现实世界的应用中得到了广泛应用,例如通信网络[1]、[2]、[3]、电力系统[4]、[5]、[6]以及飞机编队控制[8]、[9]、[10]、[11]。这些控制问题可以表述为非零和博弈(NZSG),其目标是达到纳什均衡,每个参与者采取不同的策略。博弈论因其在建模多智能体行为和辅助决策方面的优势而被广泛研究。广泛采用的博弈论框架是斯塔克伯格博弈[12]。经典的斯塔克伯格博弈源自一个涉及两个智能体(决策者)的经济问题:领导者根据追随者的反应采取适当的行动策略以最大化绩效。首先,追随者观察领导者的决策,然后做出最佳响应。这些最优控制问题通常在动态环境中进行研究,通常由描述系统状态变量随时间演变的微分方程控制。本文将系统建模为涉及多个参与者的非零和斯塔克伯格博弈,这些参与者通常由成本函数描述。每个参与者都专注于最小化自己的成本函数以找到最优控制策略。换句话说,他们旨在选择一种有效的控制策略,以尽可能降低自己的价值函数,从而达到纳什均衡。为了确定这种均衡,需要解决一组耦合的汉密尔顿-雅可比(HJ)方程[13]、[14]、[15]。然而,这些方程往往非常复杂,直接求解可能非常困难甚至不可能[16]、[17]。

为了解决这个问题,Werbos提出了自适应动态规划(ADP)方法[18]。随着ADP的引入和发展,它引起了多个学科的极大兴趣,许多相关算法被应用于解决最优控制问题[19]、[20]。目前,基于ADP的算法通常遵循领导者-追随者架构[21],其中领导者执行控制动作,而追随者通过观察领导者的行为来加强这些动作。为了简化结构并减少计算开销,张等人[22]使用单层隐藏神经网络来近似最优控制策略。在自适应动态规划(ADP)框架内,江等人[23]开发了一种计算非零和博弈(NZSG)均衡的算法,而傅等人[24]提出了一种在线近似方法来获得非零和微分博弈的鞍点均衡。魏等人[25]设计了一种基于ADP的方法来解决无限视界离散时间非线性系统的最优脉冲控制问题。从分布式控制的角度来看,刘等人[26]引入了一种博弈论迭代学习策略,以实现独立直流微电网中的电流共享和电压调节。此外,谢等人[27]将逆强化学习(IRL)融入纳什均衡学习,并采用最小二乘技术更新网络权重。为了提高可靠性,[28]开发了一个概率ADP框架,在策略迭代过程中保持结构可靠性,而[29]提出了一种带有校正函数的复制方案,以在不确定性下解决NZSG问题并保证稳定性和有界性。

上述用于近似价值函数的方法主要采用简单的三层前馈神经网络(FNN)。这些神经网络具有结构相对简单和计算复杂度较低的优点。对于低维的HJB方程或简单的控制问题,这类神经网络在实践中已经取得了满意的结果。然而,这类神经网络的容量有限,难以近似复杂解决方案。在高维问题中,它们的性能会下降,因为单层前馈神经网络难以有效捕捉高维空间中的复杂特征结构,导致近似能力有限。此外,它们需要大量的训练数据才能获得合理的性能,而且训练效率相对较低,训练过程中收敛速度慢。在处理复杂问题时,这些模型常常会出现过拟合或欠拟合现象。目前,缺乏设计用来近似汉密尔顿-雅可比(HJ)函数和解决HJ方程的高阶神经网络,这也是本文研究的动机。

Pi-Sigma神经网络(PSNN)最初由Shin和Ghosh提出[30]、[31],是一种高阶神经网络形式[30]、[31]。它结合了单层网络的快速收敛特性和高阶网络的强大非线性映射能力。例如,Rajesh等人[32]通过引入具有上下文连接的额外节点层并在输出层加入运算单元来改进PSNN架构,从而嵌入了高阶神经网络的某些特性并提高了网络的并行计算能力。Yan等人[33]进一步通过提出具有自适应梯度参数的异步批量梯度方法改进了基于PSNN的 Ridge 多项式神经网络的学习性能,从而增强了非线性映射能力。为了增强PSNN的适应性,范等人[34]开发了一种结合自适应动量项和组套索正则化的梯度下降(GD)算法。此外,它还解决了传统神经网络的常见局限性问题,如学习速度慢和泛化能力有限[35]、[36]。此外,在NZSG中,领导者策略与追随者基于该策略形成的最优响应之间通常存在复杂的非线性耦合关系。每个参与者的价值函数通常涉及多个交互变量。PSNN可以通过显式构建乘积项更有效地表示这种高阶耦合结构,从而在不增加网络规模的情况下实现更高的功能近似精度并加速学习收敛。因此,本文采用高阶神经网络来近似价值函数,旨在提高近似器的性能。为了进一步加速收敛,应用了共轭梯度方法进行权重更新。

本文的主要贡献可以总结如下:
(1)本文首次应用高阶神经网络来近似价值函数。通过利用其高阶非线性特性并扩展特征空间来增强非线性表达能力,显著提高了价值函数的近似能力。因此,提高了控制器的近似精度和泛化性能。
(2)使用共轭梯度方法优化神经网络的权重。通过基于梯度信息构建共轭搜索方向,该方法可以在高维空间中实现更高效的搜索,减少迭代冗余,缓解传统梯度下降方法的振荡问题,并显著提高收敛效率。
(3)基于李雅普诺夫稳定性理论,严格证明了闭环系统状态的均匀最终有界性(UUB)。在此基础上,通过结合改进的优化算法,进一步分析了神经网络权重误差的收敛性和系统状态的渐近收敛性,从而确保了方法的稳定性。

本文首次应用高阶神经网络来解决连续时间非线性非零和与斯塔克伯格最优控制问题。第2节建立了双参与者非线性优化框架,第3节开发了自适应在线学习机制。第4节讨论了关于稳定性、收敛性和斯塔克伯格成本的关键结论,并提供了相应的证明。最后,第5节的实验验证通过两个基准案例研究展示了所提出方法的计算效率和实际适用性。

符号说明:
R、Rn、Rn×m分别表示实数、n维欧几里得空间和实数n×m矩阵。T表示转置,?表示梯度,λmin(.)表示矩阵的最小特征值。

**两人在非线性系统中的斯塔克伯格响应**
该博弈的状态方程描述了潜在决策过程的演变,由以下动态系统表示:
x˙=F(x(t))+G(x(t))μ1(t)+K(x(t))μ2(t)
设Ωx∈Ω?Rn表示系统的状态。在反馈控制的背景下,函数F(x):Rn→Rn描述了系统的漂移动态,而G(x):Rn→Rn×m1和K(x):Rn→Rn×m2描述了与两个不同控制通道相关的输入动态。两个博弈中的参与者都会改变系统动态。

**基于高阶神经网络的自适应在线学习**
在本节中,我们使用具有两个逼近器的自适应学习算法在线估计斯塔克伯格的策略。使用两个PSNN,即每个参与者一个PSNN来近似每个参与者的价值函数。

**关于一些重要定理的说明**
为了证明本文提出的系统是有界且同时收敛的,因此考虑了定理1中对权重收敛性和闭环系统稳定性的展开分析。由于本文使用PSNN和共轭梯度方法来近似价值函数,因此给出了权重向量的详细更新过程(算法1)以及相关的理论分析来证明这一点。

**仿真与分析**
在本节中,我们将实验验证本文提出的近似方案能够得到斯塔克伯格均衡解。

**案例1**
首先,我们使用线性示例来验证所提出的模型可以近似斯塔克伯格均衡解。线性系统表示为:
x˙=[000?1]x+[21]μ1+[11]μ2,
其中x=[x1,x2]?是系统状态向量,初始值为x=[1,?1]?,非负定矩阵选择为Q。

**结论**
本文解决了在最优控制背景下求解HJB方程的问题。通过构建高阶神经网络近似结构并结合高效的优化策略,实现了价值函数的有效近似,并从理论上保证了闭环系统的稳定性。仿真结果表明,所提出的方法在近似精度、收敛速度等方面优于传统方法。

**作者贡献声明**
刘云龙:撰写——原始草稿、软件实现。
杨晓菲:监督。
范秦伟:撰写——审稿与编辑、方法指导。
李欣如:软件实现、数据整理。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
作者感谢编辑和所有审稿人的宝贵意见和建议。本研究由四位作者共同完成。此外,四位作者都审查并批准了手稿的最终版本。

范秦伟于2010年在中国天津理工大学获得应用数学硕士学位,2014年在中国大连工业大学获得计算数学博士学位。他目前是广州大学数学与信息科学学院的教授。2012年至2013年,他作为访问学者在路易斯维尔大学电气与计算机工程系工作。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号