一种具有简单激活函数、可用于矩阵求逆的固定时间收敛GNN

《Neurocomputing》：A fixed-time convergent GNN with a simple activation function for matrix inversion

　　吕宣娇|袁俊英 中国广州510970，华南学院工程学院 摘要 近年来，具有保证固定时间收敛性的梯度神经网络已成为研究热点。与那些利用复杂激活函数来实现固定时间收敛的现有GNN模型不同，本研究通过引入一种新的基于范数的项，提出了一种采用简单激活函数的固定时间收敛GNN模型，用于矩阵求逆。与现有模型相比，该模型在实现固定时间收敛的同时，还降低了计算负担和潜在的硬件实现成本。通过严格的理论分析，证明了所提出的GNN模型具有在固定时间内收敛到理论逆矩阵的特性，并给出了收敛时间的上限。三个仿真示例的结果，包括当前计算案例，验证了理论分析的正确性，并展示了所提GNN模型相较于现有模型的优越性能。引言 矩阵求逆是线性代数中的核心运算，在多智能体系统、物联网、无线通信、机器人控制等诸多领域都有着重要应用[1]–[9]。在数值分析和科学计算领域，矩阵求逆也是优化算法不可或缺的一部分，例如在牛顿-拉夫森法等求解方程和优化问题中起着关键作用[10]。鉴于其在理论研究和实际应用中的重要性，人们一直在努力开发解决矩阵求逆问题的方法。通常，矩阵求逆可以通过两种不同的技术来实现[11]–[12]：一种是迭代方法，如牛顿迭代法[13]–[14]；另一种是直接方法，如高斯消元法。然而，在面对大规模在线或实时计算需求时，一方面，由于计算复杂度较高（通常为O(n3)）[15]–[16]，以串行处理为特征的迭代方法在效率上可能不够理想；另一方面，直接方法则因成本过高而不具备可行性[11]。为了解决这一困境，具有并行处理能力的循环神经网络成为了一种更好的替代方案[17]–[18]。除了具备高速并行处理能力外，RNN还易于实现硬件化，因此在各个领域得到了广泛应用[19]–[27]。梯度神经网络和零化神经网络是RNN中广泛研究的代表类型。由于能够纳入时间导数信息，ZNN被广泛应用于解决各种时变问题。例如，有研究设计了固定时间收敛的ZNN模型，用于求解满秩矩阵的左右逆问题[28]；还有研究提出了通用ZNN的有限时间收敛设计[29]；另有研究提出了一种新的ZNN模型，用于处理时变最小秩外逆问题[30]。为了解决机器人运动过程中的时变问题，也相继开发出了多种ZNN模型[31]–[35]。与具有隐式动态特性的ZNN不同，具有显式动态表示的GNN近年来越来越受到关注。有研究设计了用于矩阵求逆的线性GNN模型[36]，该模型被证明具有渐近稳定性，并且能够实时计算大规模非奇异逆矩阵。后续研究显示，这类GNN模型呈现指数级收敛特性[37]，属于无限时间收敛范畴。不过，对于某些实时应用而言，这种收敛特性可能并不理想[38]。为了解决这一问题，人们普遍采用非线性激活函数来提升GNN模型的收敛性能[39]–[44]。例如，有研究采用了幂Sigmoid函数、平滑Sigmoid函数和符号双幂函数来构建改进型的GNN模型，用于矩阵求逆[39]。需要注意的是，一方面，由Sigmoid函数和平滑Sigmoid函数激活的GNN模型无法实现有限时间收敛，更不用说理想的固定时间收敛了；另一方面，虽然某些非线性激活函数激活的GNN模型可以实现固定时间收敛[40]，但这些函数对误差矩阵中每个元素的作用都会使模型变得更加复杂，增加计算量，同时也提高硬件实现的成本。最近，又有一种结构简单的新型GNN模型被提出，用于解决矩阵求逆问题[45]，但它只能实现有限时间收敛，无法达到理想的固定时间收敛，这说明其收敛时间的限制与初始条件密切相关。基于以上讨论，开发一种既能实现理想固定时间收敛，又能降低计算量和硬件实现成本的新型GNN模型，显得更为必要。正是出于这一考虑，本研究通过引入一种新的基于范数的项，提出了一种采用简单激活函数的固定时间收敛GNN模型，用于矩阵求逆。本研究的主要创新点可归纳为以下三点：1）通过引入新的基于范数的项，构建了一种采用简单激活函数的固定时间收敛GNN模型，用于矩阵求逆。与现有的非线性函数激活的固定时间收敛GNN模型相比，该模型在实现固定时间收敛的同时，还降低了计算量和硬件实现成本。2）通过应用李雅普诺夫理论，严格证明了所提GNN模型的固定时间收敛特性，并分析了收敛时间的上限。此外，为了对比，还提出了三个命题，用以分析现有GNN模型的收敛性能。3）给出了三个示例：两个用于矩阵求逆，另一个用于当前计算中的应用。相应的仿真结果验证了理论分析的正确性，同时表明所提GNN模型相较于现有模型具有更优异的整体性能。本文的其余部分共分为五个章节。第2章介绍了问题描述和相关预备知识，为后续研究奠定基础。第3章首先介绍了用于矩阵求逆的线性GNN模型和一些非线性GNN模型，随后提出了所研究的GNN模型。第4章对所提GNN模型及现有GNN模型进行了详细的理论分析。第5章通过三个示例验证了所提GNN模型的固定时间收敛特性，同时比较了其与现有模型的收敛性能。最后，第6章给出了总结性意见。章节节选 问题描述与预备知识 在本章中，我们首先介绍矩阵求逆的问题描述，然后介绍必要的预备知识，其中包括两个重要引理的介绍。模型构建 在本章中，我们首先介绍一种为矩阵求逆而设计的线性GNN模型(1)。在此基础上，我们回顾了几种利用非线性激活函数来提升收敛性的现有非线性GNN模型。最后，我们提出了一种具有固定时间收敛性的新型GNN模型，用于矩阵求逆(1)。理论分析 在本章中，我们深入研究了所提GNN模型(6)的稳定性和收敛特性。随后，作为对比，我们分析了由上述四种非线性激活函数激活的广义非线性GNN模型(5)的收敛行为。定理1 设一个非奇异矩阵M∈Rn×n，其理论逆矩阵为Y?=M?1，则所提GNN模型(6)的平衡点Yˉ(t)=Y(t)?Y?=O具有全局渐近稳定性。证明：定义ξ(t):=vec(Y(t))，ξ?:=vec(Y?)，示例分析 在本章中，我们通过三个示例的仿真结果，展示了所提GNN模型(6)的有效性、固定时间收敛特性以及优势。所有仿真均在配备13代英特尔酷睿i5-1340P处理器（1.9 GHz）和16 GB内存的计算机上完成，运行的是Windows 11系统下的MATLAB R2021a软件。结论 在本研究中，为了同时实现固定时间收敛和简化模型复杂性，我们提出了一种由简单函数激活的固定时间收敛GNN模型(6)，用于矩阵求逆。我们推导出了两个定理，证明了该模型的全局渐近稳定性和固定时间收敛性，并估算了收敛时间的上限。此外，我们还提出了三个命题，用于比较不同模型的收敛性能。CRediT作者贡献声明 吕宣娇：撰写——初稿、可视化、验证、软件、方法论、研究、资金获取、概念构思。袁俊英：撰写——审稿与编辑、指导、项目管理、资金获取。利益冲突声明 作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。吕宣娇于2008年在中国广州的中山大学获得检测技术与自动装置专业的硕士学位。她目前是中国广州华南学院的副教授，研究兴趣包括机器人技术和神经网络。