具有分段非单调激活函数的延迟递归神经网络的多稳定性及其在联想记忆中的应用

《Neural Networks》：Multistability of Delayed Recurrent Neural Networks with Piecewise Non-Monotonic Activation Functions and Its Applications to Associative Memory

　　

摘要

本文研究了具有分段非单调激活函数的延迟递归神经网络（DRNNs）的多稳态特性及其在联想记忆中的应用。为克服传统延迟递归神经网络依赖单调或饱和激活函数因而难以实现高密度多稳态结构的局限性，我们构造了一种具有分段非单调特性的振荡激活函数。在统一的理论框架下，对网络的平衡点结构及其稳定性进行了严格分析。通过运用庞加莱-米兰达定理、利普希茨条件和局部渐近稳定性理论，证明了在特定条件下，采用所提激活函数的n神经元DRNN具有$6n$个平衡点（EPs），其中$4n$个为局部渐近稳定平衡点。此外，通过引入振荡频率参数并系统分析其调控机制，将上述结果进行推广：在适当条件下，网络可实现$(4k+2)n$个平衡点，其中$(2k+2)n$个为局部渐近稳定平衡点。因此，配备所提激活函数的DRNN在应用于联想记忆时表现出更大的存储容量。参数可行性分析和扰动分析进一步表明，多稳态结构和收敛行为在即时和延迟耦合强度的广泛范围内保持鲁棒性。最后，数值仿真和与代表性联想记忆网络的对比实验支持了理论分析，并表明所提网络在精确回忆、理论稳定记忆容量和实验盆地体积方面均具有竞争性表现。

引言

人工神经网络（ANNs）凭借其强大的动态特性和信息处理能力，已广泛应用于神经动力学信号处理、基于吸引子的分类和吸引子记忆等领域Carpenter (1989); Michel and Farrell (1990); Zhang (2000); Zhang et al. (2022)。自霍普菲尔德提出内容寻址联想记忆网络模型以来，神经网络的存储容量问题受到了广泛关注Hopfield (1982)。事实上，联想记忆神经网络的存储容量与稳定平衡点集合的基数密切相关。为实现更大的存储容量，关键在于构建具有多稳态特性的神经网络。

激活函数的选取被广泛认为对神经网络的多稳态分析具有关键影响。在Zhang et al. (2009)中，研究了一类具有非饱和线性阈值激活函数的离散时间递归神经网络。神经网络中多稳态的分析与单稳态分析存在根本区别。在神经网络动力系统中，单稳态通常表示系统具有唯一解（全局意义上）。因此，现有文献多集中于平衡点的全局稳定性研究，即单稳态系统的唯一平衡点Arik (2014); Cohen and Grossberg (1983); Wang and Wu (2014); Wen et al. (2015); Zeng et al. (2005)。然而，联想记忆和模式识别等更复杂的应用往往需要多个稳定记忆模式，使得多稳态研究不可或缺。与单稳态不同，多稳态强调多个平衡点的共存可能；由于神经网络的固有动力学特性，某些平衡点稳定，而另一些不稳定。因此，多稳态分析比单稳态分析更为复杂。

研究了该类问题。激活函数为分段线性的，并建立了三个局部指数稳定平衡点的存在性。在Wang and Chen (2012a)中，讨论了包含分段线性激活函数和有界时变延迟的细胞神经网络，证明系统具有$3n$个平衡点。在Zeng and Zheng (2012)中，同样研究了分段线性激活函数。在Nie and Cao (2011)中，研究了具有非递减饱和非线性激活函数的n神经元二阶竞争神经网络的多稳态问题。证明网络在饱和区域内具有多个局部指数稳定平衡点。特别地，当激活函数有两个断点时，系统具有$2n$个局部指数稳定平衡点。该结果进一步推广到更一般的饱和激活函数：当激活函数有$2r$个断点时，系统具有$(r+1)n$个局部指数稳定平衡点。Nie and Zheng Nie and Zheng (2015)考虑了不连续非单调分段线性激活函数，获得了$5n$个平衡点，其中$3n$个是稳定的。相比之下，本文引入了基于余弦的分段非单调激活函数，该函数带有频率控制参数，可提供$(4k+2)n$个平衡点和$(2k+2)n$个局部渐近稳定平衡点的可扩展下界。Shen et al. Shen et al. (2021)采用了Morita型激活函数，共获得$(2m+1)n$个平衡点，其中$(m+1)n$个为稳定平衡点。通过令$k=m$，本研究的相应结果$(4k+2)n$和$(2k+2)n$均显著更大。尽管Liu, Zeng, Wang, 2016, Liu, Zeng, Wang, 2017; Wang and Chen (2012b)研究了非单调或墨西哥帽型激活函数，但其结果主要集中于定性分析或吸引盆估计，并未提供与本研究建立的显式且可扩展的平衡点计数机制相当的方法。Zhang et al. (2022)的工作主要聚焦于记忆架构设计，而非激活函数本身引起的多稳态性。总之，所提的基于余弦的分段非单调激活函数及其频率控制机制在平衡点枚举、可扩展性和联想记忆应用方面与现有研究存在根本性差异。此外，Deng, Zhu, Bao, Fu, Zeng, 2023, Deng, Zhu, Dai, Yang, Wen, 2022; Di Marco et al. (2017); Hu et al. (2019); Huang et al. (2012); Liu, Wang, Huang, Shen, 2025a, Liu, Wang, Huang, Shen, 2025b; Marco et al. (2012); Nie and Zheng (2016); Peng et al. (2022); Popa and Kaslik (2018); Qin et al. (2020); Song and Chen (2018); Zhang and Zeng (2021)提供了互补视角和有价值的结果。

对于Huang et al. (2010)中考虑的高阶突触连接和S形单调激活函数的延迟递归神经网络，网络可具有$3n$个平衡点，其中$2n$个为稳定平衡点。由于激活函数的单调性约束，该模型没有可调参数来调节其存储容量。对于Nie and Cao (2009)中研究的具有混合延迟和有界单调激活函数的竞争延迟递归神经网络，网络同样具有$3n$个平衡点，其中$2n$个指数稳定。其容量上限受限于激活函数的单调性。对于Zeng et al. (2010)中采用$k$段分段线性激活函数的延迟递归神经网络，该模型可具有$(4k-1)n$个平衡点和$(2k)n$个稳定平衡点。其容量扩展依赖于增加线性段数和断点数，这不可避免地增加了理论推导的复杂度。对于Zeng and Zheng (2013)中考虑的具有原点对称非线性激活函数的延迟递归神经网络，网络可具有$(2m+1)n$个平衡点和$(m+1)n$个局部指数稳定平衡点，其容量由对称分段参数$m$调节。

对以上文献的系统综述表明，当前神经网络多稳态研究中采用的激活函数在很大程度上具有两个结构共性。一方面，激活函数通常为单调S形（Sigmoidal）类型或分段饱和类型，多稳态平衡点的数量通常由断点数、段数或阶梯层级等结构参数决定。另一方面，为获得更多稳定平衡点，现有设计通常增加段数或断点数，从而将状态空间划分为多个不相连的区域；每个区域可能存在一个潜在的吸引盆，这为多稳态平衡点提供了结构基础。然而，大多数现有工作聚焦于饱和或分段非线性激活函数，其平衡点数量受限于饱和区域或段数。进一步提高存储容量需要引入更多段，这增加了激活函数的结构复杂度，给网络设计和理论分析带来挑战。相比之下，本文提出了一种分段周期振荡激活函数：不是过度增加段数，而是通过调节振荡频率来扩大平衡点总数和稳定平衡点数量。根据理论分析，所提激活函数可产生$(4k+2)n$个平衡点，其中$(2k+2)n$个为局部渐近稳定的。

多翼超混沌忆阻神经网络和具有多蝴蝶吸引子的忆阻细胞神经网络也是神经网络动力学中的重要研究方向。通过引入忆阻突触和非线性结构，这些模型可以产生复杂的混沌吸引子，并应用于安全通信和图像加密等领域Deng et al. (2023); Di Marco et al. (2017)。尽管这些研究与本工作都通过激活函数和突触连接的结构设计来丰富网络动力学，但其研究目标不同。前者主要关注混沌吸引子的生成和忆阻器件特性，而本研究集中于延迟递归神经网络的决定性多稳态分析及其在高容量联想记忆中的应用。此外，本研究提出的振荡激活函数可能为调节忆阻混沌神经网络中吸引子数量提供可行途径，从而展示了所提方法的扩展性。

本文研究了一类具有分段非单调激活函数的DRNN的多稳态特性及其在联想记忆中的应用。主要贡献总结如下：

• 通过结合庞加莱-米兰达定理、分段利普希茨分析和正不变集，建立了具有分段非单调激活函数的DRNN多稳态的统一分析框架。对于$k=1$，证明所提DRNN至少具有$6n$个平衡点，其中至少$4n$个为局部渐近稳定平衡点。

• 引入频率控制机制来调节多稳态容量，而无需增加分段段数。对于一般正整数$k$，推导出$(4k+2)n$个平衡点和$(2k+2)n$个局部渐近稳定平衡点的显式可扩展下界，揭示了振荡频率与稳定记忆容量之间的直接关系。

• 通过参数可行性分析、耦合参数扰动实验和联想记忆对比验证了理论结果的实践相关性。结果表明，充分条件定义了一个连续可行区域，且多稳态结构在测试参数范围内保持鲁棒性。对比结果进一步表明，所提DRNN在精确回忆方面优于Hebbian Hopfield网络，在低噪声条件下与伪逆Hopfield网络保持竞争力，并在理论稳定记忆容量和平均实验盆地体积方面优于分段线性DRNN。

符号

设$s(t)=(s_1(t), s_2(t), \ldots, s_n(t))^T \in \mathbb{R}^n$，其中$\mathbb{R}^n$表示$n$维实向量空间。定义：

$(-\infty, -\pi) = (-\infty, -\pi)^1 \times (-\pi, -\pi/2)^0 \times (-\pi/2, 0)^0 \times (0, \pi/2)^0 \times (\pi/2, \pi)^0 \times (\pi, +\infty)^0$，

$(-\pi, -\pi/2) = (-\infty, -\pi)^0 \times (-\pi, -\pi/2)^1 \times (-\pi/2, 0)^0 \times (0, \pi/2)^0 \times (\pi/2, \pi)^0 \times (\pi, +\infty)^0$，

$(-\pi/2, 0) = (-\infty, -\pi)^0 \times (-\pi, -\pi/2)^0 \times (-\pi/2, 0)^1 \times (0, \pi/2)^0 \times (\pi/2, \pi)^0 \times (\pi, +\infty)^0$，

$(0, \pi/2) = (-\infty, -\pi)^0 \times (-\pi, -\pi/2)^0 \times (-\pi/2, 0)^0 \times (0, \pi/2)^1 \times (\pi/2, \pi)^0 \times (\pi, +\infty)^0$，

$(\pi/2, \pi) = (-\infty, -\pi)^0 \times (-\pi, -\pi/2)^0 \times (-\pi/2, 0)^0 \times (0, \pi/2)^0 \times (\pi/2, \pi)^1 \times (\pi, +\infty)^0$，

$(\pi, +\infty) = (-\infty, -\pi)^0 \times (-\pi, -\pi/2)^0 \times (-\pi/2, 0)^0 \times (0, \pi/2)^0 \times (\pi/2, \pi)^0 \times (\pi, +\infty)^1$。

$\Xi_n = \{\prod_{i=1}^n (-\infty, -\pi)^{\xi_1(i)} \times (-\pi, -\pi/2)^{\xi_2(i)} \times (-\pi/2, 0)^{\xi_3}$

（主要结果

首先，我们讨论系统(1)配备激活函数(3)时多个平衡点的存在性问题。

**定理1** 假设对所有$i=1, 2, \ldots, n$，以下不等式成立：

$$\frac{\pi}{\lambda_i} - p_{ii} - q_{ii} + \sum_{l=1, l\neq i}^n |p_{il}| + |q_{il}| + L_i < 0,$$

$$-\frac{\pi}{\lambda_i} + p_{ii} + q_{ii} - \sum_{l=1, l\neq i}^n |p_{il}| - |q_{il}| + L_i > 0,$$

则具有激活函数(3)的DRNNs系统(1)具有$6n$个平衡点。

接下来，我们给出一个关于系统参数的命题，其目的是使定理1更易理解。

**命题1** 该

数值算例

**算例1** 我们考察以下二维DRNNs：

$$\dot{s}_1(t) = -s_1(t) + 5f_1(s_1(t)) + 0.01f_2(s_2(t)) + 0.01f_1(s_1(t-e^{-t})) + 0.01f_2(s_2(t-e^{-t})) + L_1,$$

$$\dot{s}_2(t) = -s_2(t) + 0.01f_1(s_1(t)) + 5f_2(s_2(t)) + 0.01f_1(s_1(t-e^{-t})) + 0.01f_2(s_2(t-e^{-t})) + L_2,$$

其中$L_1 = L_2 = 1$。激活函数定义为：

$$f_i(s) = \begin{cases} -1, & -\infty < s < -\pi \\ \cos(2s), & -\pi \leq s \leq \pi \\ 1, & \pi < s < +\infty \end{cases}, \quad (i = 1, 2).$$

由此可得：

$$\frac{\pi}{\lambda_i} - p_{ii} + \sum_{l=1, l\neq i}^n |p_{il}| + \sum_{l=1}^n |q_{il}| + L_i = \pi - 8.94 < 0,$$

$$-\frac{\pi}{\lambda_i} + p_{ii} - \sum_{l=1, l\neq i}^n |p_{il}| - \sum_{l=1}^n |q_{il}| + L_i = 9.94 - \pi > 0,$$

且存在$\eta_1 = \eta_2 = 1$使得：

$$-\frac{\lambda_i}{2} + \sum_{l=1, l\neq i}^n |p_{il}| + \sum_{l=1}^n |q_{il}| < 0.$$

由

理论参数可行域

图5展示了由充分稳定性条件确定的可行参数域。定理3给出的充分条件可简化为$b + 2c < 0.5$。相应的稳定可行区域为一个连续的浅蓝色三角区域，覆盖了相当广泛的参数组合范围，而不仅仅是少数孤立参数点。红色实线表示理论稳定边界，黑色圆圈表示名义参数

联想记忆实现与回忆结果

选取一个受噪声干扰的模式作为输入，形式为$x(0) = ae_{\mu^*} + \sigma_G \zeta$，其中$\zeta$表示49维高斯白噪声向量，$\sigma_G = 3$。然后将受干扰的模式输入所提延迟递归神经网络。由于每个记忆平衡点都是局部指数稳定的，网络状态轨迹逐渐收敛到目标记忆状态$e_{\mu^*}$。随后可通过状态解码恢复原始标准原型模式。如图8所示

结论

本文研究了采用分段非单调激活函数的DRNN的多稳态特性及其在联想记忆中的应用。我们证明，所设计的激活函数可通过调节其振荡频率将状态空间划分为更多区域及相应的正不变集，从而增加神经网络系统中平衡点和稳定平衡点的数量。

首先，基于余弦的激活函数的振荡频率
未引用的参考文献
缺失引用 图 1，图 10，图 11，图 2，图 9，表 1，表 2，表 3
CRediT 作者贡献声明
王润萌：撰写——初稿，验证，资源，方法论，调查，形式化分析。
陈桂慈：撰写——审阅与编辑，监督，项目管理，方法论，调查，形式化分析，概念化。
温世平：撰写——审阅与编辑，验证，方法论。
朱松：撰写——审阅与编辑，验证，资源。
王雷民：撰写——审阅与编辑，验证，形式化分析。
盛寅：撰写——审阅与编辑，验证。
利益冲突声明
作者声明，他们没有已知的竞争财务利益或个人关系，这些可能影响本文报告的工作。
王润萌|陈桂慈|温世平|朱松|王雷民|盛寅