神经调制状态空间模型：一种受多巴胺启发的选择性门控框架，存在记忆稳定性的权衡

《Scientific Reports》：Neuromodulated state space models: a dopamine-inspired selective gating framework with memory–stability trade-offs

　　

摘要

多巴胺决定了前额叶皮层如何过滤传入的信息、将其保留在工作记忆中，并将其释放用于执行行动——这三项计算功能与序列模型的输入、状态和输出阶段高度对应。在这里，我们探讨将这种对应关系形式化是否能够构建出在计算效率和生物学解释性方面都具备优势的序列模型。我们提出了“神经调节状态空间模型”（NeuSSM），该模型将现代状态空间模型（例如Mamba）中的选择性门控机制重新解释为三个受多巴胺调控的运算过程：感觉门控、工作记忆调节和输出中继，这些过程由一个可学习的增益参数λ控制。我们从理论上证明了经典S4模型是NeuSSM在λ=0时的极限情况（定理1），并且NeuSSM的局部动态稳定性由基于调制状态转换特征值实部的相变准则决定，这一准则将模型的最坏情况行为分为三种质量不同的状态（定理2）。当λ趋于1时，可以定性地恢复出类似Mamba的选择性模型结构，不过我们是通过实证而非形式化的近似保证来呈现这种对应关系的。通过对四个长距离序列基准任务进行训练（参数量约为0.45百万个，使用单个消费级GPU），我们发现该模型在不同层次上学习了不同的λ值；需要更灵活的长期推理的任务会促使较高层次的λ值增加——这一现象与所提出的动态稳定性权衡理论一致（定理2）。NeuSSM在Sequential MNIST任务上的准确率达到了98.75%，在LRA ListOps任务上为49.45%，在Sequential CIFAR-10任务上为59.88%，在LRA Text任务上为76.0%，其性能与参数数量远多的S4和Mamba模型相当或更优。这些结果表明，来自系统神经科学的神经调节原理可以为序列模型的设计和解释提供指导，即使在计算规模较为有限的情况下也是如此。