基于可调激活机制的动态参数ZNN在时变二次规划及机器人轨迹跟踪控制中的应用

《Journal of the Franklin Institute》：Dynamic parameter ZNN based on an adjustable activation mechanism for time-varying quadratic programming and robot trajectory tracking control application

　　

摘要
归零神经网络（ZNN）已被确立为求解时变优化问题的一种高效且精确的算法。近期研究将各种变参数设计引入传统ZNN框架，显著提升了其性能。然而，大多数此类变参数随时间无界增长，这与物理实现中参数保持有界的实际需求相矛盾。为解决这一问题，我们设计了一种具有固定上界的动态参数，并提出了一种能够实现有限时间收敛的有界激活函数，随后将这两个要素相结合，构建了一种新型动态参数归零神经网络（DPZNN）。特别是，本文所使用的动态参数与误差函数直接耦合，并与之同步变化。理论分析证实了DPZNN的有限时间收敛性。此外，分析了并验证了DPZNN在有无干扰抑制项情况下的抗噪性能。最后，通过时变二次规划问题和姿态约束机器人轨迹跟踪的仿真，展示了所提方法的有效性。

引言
近年来，二次规划逐渐成为科学和工程领域许多问题的便捷建模框架。代表性应用包括图像融合[1]、金融投资组合优化和机器人轨迹跟踪控制[2]、[3]、[4]。二次规划问题大致分为两类：时不变和时变。实际应用中遇到的大多数二次规划问题具有时变特性，例如机器人轨迹跟踪控制[5]。时不变二次规划问题通常使用串行和数值算法求解，如内点法和梯度投影法。相比之下，求解时变二次规划对算法的实时性能和并行计算效率提出了严格要求。因此，大多数为时不变二次规划设计的算法在时变场景下变得不再适用。因此，具有并行计算能力的神经网络[6]、[7]、[8]在时变二次规划中的应用近期引起了研究人员的广泛关注。

轨迹跟踪控制是机器人运动规划与控制领域中的一个基本问题。机器人系统的实际轨迹跟踪控制通常还需要额外考虑关节漂移[9]、[10]、物理关节限位[11]和姿态保持[12]等问题。近年来，众多研究将此问题转化为等效的多任务时变二次规划问题，并开发了各种有效的基于递归神经网络的方法来求解[13]、[14]、[15]。上述递归神经网络构成了一个独立的计算神经网络模型类别，包括双曲神经网络[16]、投影神经网络[17]、[18]、归零神经网络（ZNNs）[19]、[20]、[21]、[22]以及相关变体。这些架构以高效的并行计算能力和强大的硬件实现适用性为特征。特别是，投影神经网络和ZNNs在求解带约束优化问题方面表现出更强的适用性。因此，这些方法已被广泛应用于各种机器人运动规划与控制系统中。需要强调的是，ZNNs主要应用于在线数学计算任务，如时变矩阵方程[23]、[24]、[25]和时变优化[26]、[27]。鉴于机器人实际跟踪轨迹在实时不断变化，基于ZNNs的先进控制方法研究至关重要。

ZNNs构成了时变问题的精确计算模型。近年来，ZNN及其变体解决了各种时变问题，包括时变矩阵求逆[28]、[29]、[30]、时变线性方程[31]、[32]和时变二次规划[33]。为求解时变二次规划问题提出的典型ZNN模型包括线性[34]、幂型[35]、指数型[36]、[37]和积分型[38]ZNNs。其中，幂型ZNN作为一种突出的有限时间收敛ZNN[35]。将积分算子引入ZNN模型为提高鲁棒性提供了一种有效策略[38]。值得注意的是，使用适当设计的激活函数（AFs）在提升有限时间和抗噪ZNN（NTZNN）模型的收敛性能方面起着关键作用[37]、[39]。

当前线性、幂型、指数型及相关激活函数在持续增大的误差下表现出无界增长，这对基于此类函数的ZNN模型的硬件实现构成了挑战。为克服这一限制，Sun等人[40]和Jin等人[41]、[42]引入了基于有界激活函数的ZNN和抗噪ZNN。然而，使用现有有界激活函数的ZNN模型在性能提升方面仍存在某些局限性。例如，[41]、[42]中研究的基于有界激活函数的ZNNs缺乏有限时间收敛性。尽管[40]中改进的ZNN确保了有限时间收敛性，但它未能解决噪声鲁棒性问题。将动态或变参数集成到ZNN的设计中，可显著加快收敛速度并进一步提升整体收敛性能[43]、[44]、[45]、[46]。例如，[43]中研究的ZNN算法使用了随时间趋向无穷的变参数，显著加快了收敛速度。然而，这些参数缺乏边界约束，可能阻碍ZNN的硬件实现。尽管[45]中提出的变参数ZNN（VPZNN）算法使用了改进的有界变参数函数，但它使用了无界激活函数。这一选择不利于ZNN的硬件实现。此外，[45]中研究的VPZNN显示出缺乏有效的噪声抑制能力。总之，同时结合有界动态参数和有界激活函数的ZNN模型研究明显缺乏。为解决这一限制，本文提出了一种新型DPZNN框架，将有界动态参数与有界激活函数相结合。此外，将其应用于时变二次规划以及带有姿态控制的机器人轨迹跟踪，展示了所提方法的有效性。为方便阅读，图1展示了本文的结构和逻辑流程。本文的主要贡献如下：

1) 本文提出了一种新型DPZNN模型，用于求解时变二次规划问题。
2) 与基于简单饱和激活函数构建的缺乏有限时间收敛性的ZNNs不同，本文提出的DPZNN采用了一种有限时间有界激活函数。此外，通过引入有界的动态变化调节参数，所提DPZNN可以在误差较小时适度调整其收敛率。所提出的有界激活函数和动态参数函数有助于DPZNN的硬件实现。
3) 提供了理论推导，以证明所提DPZNN的有限时间收敛性和鲁棒性。

本文其余部分组织如下：第2节给出问题描述以及ZNN相关工作的回顾。第3节详细描述了DPZNN及其理论分析。第4节包含数值验证实例和结果。第5节总结了全文。

问题描述
本文考虑以下时变二次规划（TVQP）：
min (1/2)υ^T(t)Q(t)υ(t) + R^T(t)υ(t),
s.t. B(t)υ(t) = d(t).
其中υ(t) ∈ R^{n1}是解变量，上标T表示矩阵的转置，Q(t) ∈ R^{n1×n1}是正定矩阵。B(t) ∈ R^{n2×n1}是已知时变矩阵，R(t) ∈ R^{n1}，d(t) ∈ R^{n2}是已知时变向量，且n1, n2 ∈ R+（其中R+ = {x ∈ R | x > 0}）。

正如先前工作[4]、[7]中所做的那样，本文采用拉格朗日乘数法求解TVQP。

DPZNN求解器
本节首先在3.1小节中介绍所设计的DPZNN及其抗噪DPZNN（NTDPZNN）。然后，3.2和3.3小节分别提供了DPZNN和NTDPZNN关于有限时间收敛性和鲁棒性的理论分析和验证。

TVQP示例
本节将所提DPZNN和NTDPZNN与求解TVQP最相关的现有模型进行比较，包括传统ZNNs、NTZNNs以及[45]中提出的VPZNN。

在仿真中，我们考虑具有以下条件的TVQP问题（1）：
Q(t) = [cos(t)+2 sin(2t); sin(2t) cos(t)+2],
R(t) = [sin(3t); cos(3t)],
B(t) = [sin(t) cos(t)],
d(t) = sin(4t).

案例1：与相关ZNN和NTZNN的比较。
图4展示了ZNNs（5）（使用表1中列出的SATAF、Ball AF和Sigmoid AF）和DPZNN（9）的仿真结果。

结论
本文成功开发了一种具有有界激活函数和变化参数的动态参数归零神经网络方法，用于求解时变二次规划问题。理论分析表明，所提方法是有限时间收敛的，并表现出很强的鲁棒性。时变二次规划和机器人轨迹跟踪控制的计算机仿真验证了其对于时变问题的优势。

CRediT作者贡献声明
Yu Zhang：写作 – 审阅与编辑，写作 – 原稿撰写，验证，软件，方法论。
Qiang Chen：写作 – 审阅与编辑，写作 – 原稿撰写，验证，形式分析。
Xiongxiong He：写作 – 审阅与编辑，监督，资金获取，形式分析。

利益冲突声明
作者声明不存在已知的财务利益冲突或个人关系，这些冲突或个人关系可能影响本文所报告的工作。

Yu Zhang | Qiang Chen | Xiongxiong He