自行动作分布系统 (SADS)：从神经网络稳定性分析到低存储成本记忆网络

《Neural Networks》：Self-Action Distribution System (SADS): From Neural Network Stability Analysis to Memory Networks with Low Storage Space Cost

　　

摘要

目前，神经网络代码编辑被直接采用，而对其稳定性未进行任何理论分析。这种做法可能导致网络不稳定和不必要的资源消耗。为解决这些问题，本文做出以下创新性贡献。首先，我们提出了一种评估神经网络稳定性的方法。由于该评估无需计算梯度，因此适用于各种复杂的网络架构。通过应用该方法，可以在训练前进行算法优化，从而帮助在早期阶段识别潜在的性能瓶颈。其次，基于所提出的评估方法，我们展示了一种空间复杂度较低的内存网络实现。理论分析和实验结果均证实，该内存网络能够有效表示符号。有趣的是，所提出的内存机制与人类大脑颞叶的某些功能相一致，为脑启发计算和存内计算芯片开发等研究领域提供了有价值的见解。最后，基于该内存网络，我们提出了一种名为自行动分布系统（SADS）的新型神经网络算法。实验验证表明，SADS优于现有算法，证明了其有效性。

引言

深度神经网络在许多科学应用中也越来越普遍。然而，在许多领域仍然存在需要解决的问题。

**在网络稳定性方面：** 在神经网络算法的一般应用场景中，针对特定问题设计相关算法，然后在数据集上进行训练并观察损失函数的收敛情况。根据收敛特性再次调整算法，然后重复这些步骤。然而，由于缺乏对算法有效性的理论讨论，大量训练资源会被浪费。在全球能源短缺的背景下，这种"先设计后训练"的高能耗试错模式在神经网络领域既低效又不可持续。

为了避免不必要的资源浪费，在Bouchereau等人（2023）的研究中，作者探讨了深度神经网络逼近物理函数时的稳定性，并提出必须控制并量化微小扰动。2014年，Szegedy等人提出了神经网络对应的Lipschitz常数K*能够表示神经网络的稳定性。后来，K*在Couellan（2021）、Gouk等人（2021）和Couellan（2022）中被用于改善神经网络的稳定性。Lee等人（2020）、Weng等人（2018）、Virmaux和Scaman（2018）、Pintore和Després（2022）以及Pintore和Després（2024）讨论了更为精细的Lipschitz上界。然而，上述讨论仅限于多层BP网络，难以扩展到其他网络模型，因此有必要讨论更一般的情况。此外，上述结论依赖于梯度的计算，增加了进行算法稳定性分析的难度。

**在内存网络方面：** 在Weston等人（2015）、Sukhbaatar等人（2015）和Weston等人（2016）的研究中，讨论了内存网络的结构及相关应用。在Taha（2025）中，提出了一种新模型，利用层级对数树结构进行远程序列建模场景，以高效存储和检索历史信息。该方法利用层级算法和RNN算法的特点，将内存占用和计算复杂度从O(n2)降低到O(log(n))。在Yuechen等人（2026）中，提出了一种基于广义联想临时编码的内存模型。在复杂任务中，多层模型会发展出与任务相关的重叠、证据、痕迹等表示。在感觉编码结构、位置支架或任务参数发生变化时，该模型能够复用已学习的表示并更快地进行学习。根据上述关于网络容量的讨论，实现内存功能需要更多神经元。因此，需要优化内存容量。

**在网络性能提升方面：** 在Jishnu和Cornelia（2023a）中，通过将输入长序列分段为短序列并在递归过程中引入"递归中的递归"（RIR）机制，改进了非线性RvNN算法。通过分析RIR、CRvNN（连续递归神经网络）、OM（顺序内存）以及S4D等模型，证实RIR算法相比原始算法进一步提升了网络性能。虽然分割输入的过程能有效避免RvNN算法的梯度消失问题，但该部分算法具有较高的时间和空间复杂度。因此，需要其他方法来改进。

基于以上文献和分析，有几个问题需要研究。首先，应该讨论一般神经网络的稳定性分析方法，为简化分析过程，建议避免使用梯度。其次，需要考察一般神经网络的分类能力。最后，必须提出一种高效的内存模型。

本文取得的成果如下：

1. 给出了激活函数tanh、Sigmoid、Elu、ReLU和leakReLU的性质。基于激活函数的性质，讨论了神经网络是否稳定。

2. 基于上述讨论，我们进一步构建了ERIR模型和内存模型。随后进行了深入论证，证明内存模型具有更大的容量和更好的稳定性。

3. 利用ERIR模型和内存模型，我们给出了一个新的自行动分布系统（SADS）模型。实验结果表明，SADS模型能够比现有算法更好地完成学习任务。

本文研究的神经网络稳定性计算方法可用于对其他神经网络算法进行类似的探索。通过该方法，我们可以在进行网络训练和参数调整之前识别网络的理论性能瓶颈，然后相应地做出优化和改进。

这一措施可以显著减少网络训练期间的计算资源消耗。另一方面，上述关于理论性能瓶颈的分析过程无需计算梯度，有效降低了理论分析的难度。

**初步知识**

**定理2.1** 一个具有L层、宽度为n?且秩为k的max-out网络可以计算至少具有k^(L-1)×n?个线性区域的功能。

定理2.1描述了BP神经网络的结构，并确定了其在划分线性区域方面的能力上限。

根据定理2.1，增加神经网络每层的神经元数量的效果远不如增加神经网络的深度。

**激活函数的性质**

在分析神经网络稳定性时，梯度的计算往往非常复杂。为避免这种复杂性，有必要分解一般神经网络前向计算过程的各个组成部分。前向计算过程可以分解为两个部分：线性变换过程和非线性激活函数的计算。线性部分天然满足范数的次乘性，因此矩阵乘法不会放大

**RIR网络的改进**

本章利用第3节的方法分析了RIR模型的设计缺陷，并提供了相应的优化方案。

**内存网络构建**

如4.2节的结果所示，当‖U‖和‖V‖的幂次较高时，计算结果可能会失败。特别是当‖U‖<1且‖V‖<1时，网络将无法有效响应输入变化，即会出现梯度消失现象。

由于我们需要的是预测模型，普遍认为这种现象不应出现在训练网络中。然而，如果我们想要构建内存模型，

**自行动分布系统模型**

如图9所示，人脑中存在系统1和系统2两种机制。在人脑认知系统中，存在两种不同的运行模式，即系统1和系统2。系统1主要负责快速处理熟悉的信息。由于这些事情对大脑已经高度熟悉，它可以在处理过程中缓存大量中间结果，并在需要时快速回忆。这种机制不仅确保了准确性，

**实验结果**

为验证算法的有效性，本文借鉴Jishnu和Cornelia（2023a）中的方法，对提出的ERIR、SADS和SADSMem算法以及Jishnu和Cornelia（2023a）中介绍的算法和Mamba算法进行了性能对比测试。

**结论**

在本文中，我们介绍了无需计算梯度即可分析神经网络稳定性的思路。通过这一思路，我们可以在训练前调查神经网络的稳定性。因此，我们探索了RIR网络的优缺点并做出改进，分别提出了ERIR网络和MemERIR网络。基于上述两项改进，我们提出了基于外部内存网络和快慢循环的SADS模型。

**代码可用性**

我们已在GitHub上分享了相关代码和完整项目。

1. 本文中提到的激活函数性质模拟结果参见：https://github.com/liufanglue/ActivateFunc
2. 相应的ERIR测试项目已在以下地址完成：https://github.com/liufanglue/RecurrentRnn，具体类名为RecurrentRnnNetwork。
3. 相应的SADS测试项目已在以下地址完成：https://github.com/liufanglue/Sads，具体类名为

**作者贡献声明**

Liu Fanglue：验证、软件、调查研究、形式化分析、概念构思。
Qian Ting：写作—审阅与编辑、写作—原稿撰写、监督、项目管理、资金获取。
She Yanhong：写作—审阅与编辑、写作—原稿撰写、监督、资源、项目管理。

**利益冲突声明**

利益冲突：作者没有需要披露的相关财务或非财务利益。

**伦理批准**：本文不包含任何作者对参与者或动物进行的研究。

**知情同意**：已获得研究中包含的所有个体参与者的知情同意。

**致谢**

作者感谢所有审稿人提出的所有建设性和帮助性的审稿意见，这些意见极大地帮助了论文的改进。

作者感谢开源模型的开发者，感谢他们的贡献以及使他们的作品公开可用。

（通讯作者：Ting Qian 和 Yanhong She）

本工作得到国家自然科学基金（编号：12471442、12171388）和陕西省教育厅科研项目的支持。

Liu Fanglue | Qian Ting | She Yanhong