编辑推荐：
专业术语翻译
随着大规模并行处理单元的出现，并行化已成为新型序列模型的一个理想特性。训练过程中沿序列长度方向并行处理序列的能力，是Transformer架构崛起的主要因素之一。然而，Transformer在序列生成方面效率低下，因为其在每一步生成时都需要重新处
专业术语翻译
随着大规模并行处理单元的出现，并行化已成为新型序列模型的一个理想特性。训练过程中沿序列长度方向并行处理序列的能力，是Transformer架构崛起的主要因素之一。然而，Transformer在序列生成方面效率低下，因为其在每一步生成时都需要重新处理所有过去的时间步。近年来，状态空间模型（State-Space Models, SSMs）作为一种更高效的替代方案出现。这类新型递归神经网络（Recurrent Neural Networks, RNNs）保留了RNN的高效更新特性，同时通过消除非线性动力学（即递归）获得了并行化能力。SSMs可通过高效训练潜在非常大的网络达到最先进性能，但由于其单稳定性（monostability），仍受限于有限的表征能力。特别地，SSMs无法展现持久记忆（persistent memory），即无限时长保留信息的能力。本文引入了一类新的RNN家族——记忆循环单元（Memory Recurrent Units, MRUs），它将非线性RNN的持久记忆能力与SSMs的可并行化计算相结合。这些单元利用多稳定性（multistability）作为持久记忆的来源，同时消除了瞬态动力学以实现高效计算。随后，研究人员推导出一个具体的实现作为概念验证：双稳态记忆循环单元（Bistable Memory Recurrent Unit, BMRU）。这种新型RNN与并行扫描算法兼容。研究表明，BMRU在具有长期依赖关系的任务上取得了良好效果，并可结合SSMs创建兼具瞬态动力学与持久记忆的可并行化混合网络。
论文解读文章
一、研究背景与问题
循环神经网络（RNNs）曾是序列建模的主流架构，能够模拟广泛的动力系统。然而，传统RNNs在训练时无法沿时间维度并行化，这一根本缺陷使其逐渐被Transformer架构所取代。Transformer凭借其训练阶段的高度并行性，在构建大规模模型和处理海量数据方面展现出巨大优势。但在生成式建模任务中，Transformer面临高计算复杂度的困境——每生成一步都需处理整个历史输入序列。
近年来，状态空间模型（SSMs）的兴起使RNNs重获关注。SSMs采用严格的线性动力学级联静态非线性的方式，使其计算易于并行化，从而能在GPU算力支持下训练大型网络。基于SSM的大型语言模型如Mamba，在相似模型规模下已取得与Transformer相当甚至更优的性能。此外，SSMs在推理阶段比Transformer更高效，因其递归公式允许仅从上一输出和当前输入计算当前输出，而Transformer需处理整段序列（或缓存整段激活值）。
然而，SSMs严格线性的递归动力学带来了固有局限：它们只能近似衰减记忆系统，即只有一个稳定状态的系统。这种单稳态系统将历史信息编码于瞬态动力学中，导致记忆不可避免地随时间衰减，使得固定层数的网络无法解决某些任务。相比之下，多稳态系统拥有多个稳定状态，能够将信息无限期编码。尽管已有研究证明在RNNs中引入多稳定性可显著提升长程依赖任务的表现，但多稳定性要求强非线性递归连接，这通常阻碍了并行化，使得多稳态RNNs无法与SSMs或Transformer等并行化方案竞争。
二、研究目标与意义
本研究旨在弥合上述差距，创造一类既能沿序列长度方向并行化，又通过多稳定性展现持久记忆的新型RNN模型。研究人员提出了记忆循环单元（MRUs）的概念框架及其具体实例——双稳态记忆循环单元（BMRU），首次实现了将非线性RNN的持久记忆能力与SSMs的可并行化计算有机结合。
三、关键技术方法
- 1.
带内部时钟的RNN框架：提出将RNN的内部状态更新与外部输入时间序列解耦，允许内部状态在两个连续时间步之间进行多次更新，从而快速将信息收敛至稳定平衡点。
- 2.
无限更新极限下的MRU定义：在两个连续时间步之间允许无限次内部更新的极限情况下，定义了记忆循环单元（MRU）类——一种展现持久记忆但无衰减记忆的RNN。
- 3.
双稳态记忆循环单元（BMRU）设计：作为MRU的具体可训练实现，BMRU利用双稳态动力学提供持久记忆，同时通过消除瞬态动力学实现高效计算，并与并行扫描算法兼容。
四、研究结果
第2节：带内部时钟的RNNs
研究人员通过放宽经典RNN公式中隐藏状态仅在接收新输入时才更新的约束，引入了带内部时钟的RNN类。该类RNN的内部动力学与外部输入时间序列的动力学解耦，每个单元可在两个时间步之间以不同的内部更新次数N进行迭代，最终输出经过N次内部更新后的状态值。
第3节：记忆循环单元（MRUs）
当内部更新次数趋于无穷时，研究人员定义了MRU类。在此极限下，内部状态收敛到由当前输入和前一时刻状态决定的稳定平衡点。MRU的核心特性是只展现持久记忆而无衰减记忆——系统完全由多稳态动力学主导，瞬态响应被彻底消除。这使得MRU能够无限期保留信息，但其数学形式依赖于隐式的平衡方程求解。
第4节：双稳态记忆循环单元（BMRU）
为获得可训练的MRU具体实例，研究人员设计了BMRU。BMRU通过特定的参数化双稳态非线性函数实现，其内部更新方程可显式写出。更重要的是，BMRU的递归结构满足并行扫描算法的要求，这意味着它可以在训练时沿序列长度方向完全并行化。BMRU的每个单元具有两个对称的稳定状态，能够像二进制存储器一样存储信息位。
第5节：实验评估
研究人员在多个基准测试上评估了BMRU的性能。在长程依赖任务中，BMRU展现了优于传统SSMs的结果，特别是在需要长时间保留信息的场景下。此外，将BMRU与SSMs组合形成的混合网络，既保留了SSMs高效的瞬态动力学处理能力，又获得了BMRU的持久记忆能力，在多种序列建模任务上达到了具有竞争力的性能水平。
五、总结与讨论
研究人员指出，本文提出的MRU框架从根本上解决了RNN领域长期存在的两难困境：既要具备非线性RNN的持久记忆能力，又要享有SSMs的可并行化计算优势。BMRU作为概念验证，成功证明了这一方向的可行性。实验结果表明，即使在纯线性递归占据主导的现代序列模型中，适当引入受控的非线性多稳态机制也能带来实质性的性能提升，尤其是在需要长期信息保持的任务上。
研究结论：本文通过引入记忆循环单元（MRUs），开创性地将多稳态系统的持久记忆特性与并行化计算相结合。具体实现的双稳态记忆循环单元（BMRU）不仅与并行扫描算法兼容，还能在长程依赖任务中取得优异表现。更重要的是，BMRU可与现有SSMs无缝集成，构建兼具瞬态动力学与持久记忆能力的可并行化混合网络，为下一代高效序列模型的研发提供了新的理论框架和实用工具。
