四元数域中的复合优化：一种具有时变增益的固定时间神经动态控制方法

《Systems & Control Letters》：Composite optimization in quaternion domain: A fixed-time neurodynamic control approach with time-varying gains

　　摘要：本文利用广义汉密尔顿-实数（GHR）微积分，提出了一种新型的四元数值神经网络，该网络具有时变增益，可以直接在四元数域中解决复合优化问题。与传统的全局收敛或指数收敛方法不同，所提出的网络在最优解处确保了固定时间的稳定性，并且其稳定时间的上限与初始条件无关。时变系数的引入增强了该方法的自适应性和操作灵活性，同时保留了四元数空间的内在几何结构，而无需进行分解。通过严格的李雅普诺夫稳定性分析，我们证明了所提方法的固定时间稳定性和鲁棒性。在稀疏四元数信号恢复和波束成形问题上的数值实验验证了该方法的有效性。

引言：复合优化问题（COPs）因其独特的复合结构而成为包括机器学习[1]、统计学[2]和几何中值问题[3]在内的多个领域中的基本工具。这一框架因其建模灵活性和结构丰富性而受到重视。其在计算成像中的应用包括具有完整变分正则化的泊松似然估计[4]、图像恢复[5]和高维特征空间中的稀疏学习[6]。已经开发了许多有效的算法来解决COPs，包括惩罚函数方法[7]、增广拉格朗日乘子方法[8]、Frank-Wolfe算法[9]和神经动力学方法[10]、[11]。其中，神经动力学方法由于其实时处理能力、并行计算效率和硬件实现，在工程优化和科学计算中引起了广泛关注。四元数值优化也在工程控制和科学应用中找到了广泛应用，包括图像恢复[12]、颜色识别[13]、计算机辅助诊断（CAD）[14]、3D风信号建模[15]和编队控制[16]。四元数变量复合优化问题（QCOPs）也在稀疏识别[17]、彩色图像识别[18]、鲁棒稀疏表示[19]和弹性网回归[20]等场景中得到了研究。与实数或复数域不同，四元数域能够完整表示系统，同时通过考虑内在关系来保留其物理属性。例如，使用四元数值神经网络（QVNNs）的CAD系统在数字生物组织病理学图像分类中达到了98.87%的准确率[14]，明显优于传统的实数值神经网络系统[21]。与QVNNs相关的优化问题可以使用已建立的实数值优化方法[22]或复数变量方法[23]来解决。然而，分解和重构QVNNs通常会破坏3D问题中内部结构和通道间的内在耦合。此外，当原始模型具有复杂结构时，这种分解会增加计算复杂性，并忽略前期阶段的信息[24]。相比之下，直接的四元数方法[25]通过保持四元数信号的完整性处理，展示了更强的关联记忆能力。自从汉密尔顿引入四元数[26]以来，由于四元数的非交换乘法性质，四元数域中的计算操作一直具有挑战性。基于梯度的优化技术在四元数代数中的发展进一步受到四元数分析严格要求以及四元数导数没有直接乘法规则的阻碍。为了解决这些限制，开发了汉密尔顿-实数（HR）微积分[27]来数学表示四元数变量及其正交组合。虽然HR微积分将复数实数（CR）微积分[28]扩展到了四元数域，但由于非交换性，它仍然与传统的四元数运算不兼容。这一限制促使了广义HR（GHR）微积分[29]的发展，使得可以直接分析四元数梯度、海森矩阵和学习算法[30]、[31]。GHR微积分的出现促进了学习算法和优化技术在四元数系统中的直接实现，消除了转换为实数或复数表示的必要性。因此，已经开发了许多四元数值神经网络来解决各种优化问题[32]、[33]、[34]、[35]。特别是，提出了一种使用QVNNs进行约束四元数变量凸优化的新方法，该方法专注于保持四元数表示而不进行分解，并结合了GHR微积分[33]。随后，设计了一种用于解决一般约束优化问题的四元数值神经网络，证明了其在姿态估计和图像检索等应用中的有效性[36]。值得注意的是，许多现有的神经动力学设计都是渐进或指数收敛的[22]、[33]、[36]、[37]。当时间趋于无穷大时，该算法收敛到最优解。为了加速收敛，建立了有限时间稳定性[38]。然而，稳定性时间与初始状态有关。为了消除这种依赖性，引入了固定时间稳定性[39]、[40]。最近，在[41]、[42]、[43]中引入了具有更紧收敛时间上限的新固定时间稳定性标准，从而推动了固定时间零化神经网络（ZNN）方法的发展。另一方面，为了设计方便，提出了具有时变系数的固定时间稳定性[44]。在[10]中提出了一种具有固定时间稳定性的神经动力学方法用于COPs。在[45]中为具有时变动态的多智能体系统开发了一种时变分布式优化协议。尽管有这些进展，如表1所示，在四元数值神经网络的发展中，尚未探索具有固定时间稳定性的神经动力学方法的设计。基于上述研究，本文提出了一种具有固定时间稳定性的时变系数四元数值神经动力学方法来解决四元数变量复合优化问题。工作的主要贡献如下：
- 提出了一种具有时变系数的四元数值神经动力学方法，可以直接解决四元数变量复合优化问题。与传统具有渐进稳定性的方法不同，所提出的方法在不进行实数或复数分解的情况下实现了固定时间稳定性，从而保留了四元数的几何结构。
- 利用李雅普诺夫稳定性和广义汉密尔顿-实数（GHR）微积分，我们推导出了一个仅依赖于控制器参数且与初始条件无关的稳定时间的上限。时变增益作为自适应控制系数，增强了系统在动态环境中的响应性和操作灵活性。
- 在有界消失扰动下，通过分析验证了所提方法的鲁棒性，证实了其抗干扰能力。此外，通过稀疏四元数向量恢复和波束成形问题证明了其有效性，在这些问题中，所提方法在收敛速度和恢复精度方面都优于现有的四元数值神经网络。

符号说明：本文采用以下符号约定：矩阵用粗体大写字母表示，列向量用粗体小写字母表示，标量用标准小写字母表示。常规字母表示标量函数，而粗体字母表示向量值函数。上标xH和x?分别表示共轭转置和转置运算。x?表示向量x的导数。C1([0,∞))表示连续可微函数的类。

四元数代数：四元数在R上形成一个结合的但非交换的代数，表示为H={qa+iqb+jqc+kqd∣qa,qb,qc,qd∈R}，其中基{1,i,j,k}满足i2=j2=k2=ijk=?1，即乘法规则为ij=k=?ji, jk=i=?kj, ki=j=?ik。对于四元数q=qa+iqb+jqc+kqd，其标量部分为R(q)=qa，向量部分为I(q)=iqb+jqc+kqd。对于x,y∈H，四元数乘法通常是非交换的（xy≠yx）。共轭x?=xa?ixb?jxc?kxd满足（xy）?=y?x?，x的模为|x|=xx?。

时变固定时间神经动力学方法用于QCOP：受前述分析的启发，提出了一种具有固定时间收敛性的时变神经动力学方法（FXTVNA）来解决四元数变量复合优化问题（5），其形式为z?=?K(z,t)ψ(z)，其中K(z,t)=λ1(t)‖ψ(z)‖1?β1+λ2(t)‖ψ(z)‖1?β2，如果z?Fix(?)，则ψ(z)=z??(z)?η?Ψ(z)+η?Ψ?(z)，λ1(t)>0, λ2(t)>0, ?(z)=proxηΥ(z?η?Ψ(z))，η>0, β1∈(0,1), β2>1且Fix(?)?z∈Hn：?(z)=z。需要满足以下一些必要假设：

假设1 [11]、[32]：?Ψ:Hn→Hn是强单调的。

FXTVNA的收敛性分析：在继续进行稳定性分析之前，我们回顾了几个将在后续证明中使用的辅助引理。
引理1：如果点z?满足z?=proxηΥ(z??η?Ψ(z?))，则z?是FXTVNA（9）的平衡点。
证明：显然，当z?=proxηΥ(z??η?Ψ(z?))时，z?=?(z?)，则FXTVNA（9）达到一个平衡点，即z?=0。必要性：假设z?是FXTVNA（9）的平衡点。那么?K(z?,t)z???(z?)?η?Ψ(z?)+η?Ψ?(z?)=0?ψ(z?)=0，因此z?∈Fix(?)。这表明z?是FXTVNA（9）的平衡点。

鲁棒性分析：在本小节中，我们研究了FXTVNA（9）的鲁棒性，即其在以下扰动存在的情况下能够在固定时间内收敛到最优解的能力，z?=?K(z,t)ψ(z)+V(z)，其中K(z,t)=λ1(t)‖ψ(z)‖1?β1+λ2(t)‖ψ(z)‖1?β2，如果z?Fix(?)，否则ψ(z)=z??(z)?η?Ψ(z)+η?Ψ?(z)，λ1(t)>0, λ2(t)>0, β1∈(0,1), β2>1，Fix(?)?z∈Hn：?(z)=z，且V(z):Hn→Hn是一个满足以下假设的扰动项。

结论：本文提出了一种用于解决四元数变量复合优化问题的神经动力学系统。该控制方案直接在四元数域中操作，避免了实数或复数分解。理论分析证明了系统的固定时间稳定性，其稳定时间的上限与初始条件无关。还保证了对抗有界消失扰动的鲁棒性。在稀疏四元数信号恢复和波束成形问题上的数值实验也验证了其有效性。

作者贡献声明：Jinlan Zheng：撰写——原始草稿、验证、调查。Jinlan Liu：撰写——审阅与编辑、撰写——原始草稿、监督、概念化。Xingxing Ju：撰写——审阅与编辑、验证、概念化。Dongpo Xu：撰写——审阅与编辑、监督、资金获取、概念化。

作者声明：作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能会影响本文报告的工作。