《Neural Networks》：A dual-time-scale cooperative memory mechanism for spiking neural networks
编辑推荐：
摘要脉冲神经网络（SNNs）作为受大脑启发的计算的核心模型，模拟了生物神经系统的计算机制。然而，现有模型缺乏生物系统中快速和慢速神经群体之间的分工和协作机制，这使得单时间尺度的神经群体难以同时捕捉瞬态事件并保持长期依赖性。此外，这些模型与特定数据和任务深度耦合。因此，提出了一种具
摘要
脉冲神经网络（SNNs）作为受大脑启发的计算的核心模型，模拟了生物神经系统的计算机制。然而，现有模型缺乏生物系统中快速和慢速神经群体之间的分工和协作机制，这使得单时间尺度的神经群体难以同时捕捉瞬态事件并保持长期依赖性。此外，这些模型与特定数据和任务深度耦合。因此，提出了一种具有双时间尺度协作记忆的脉冲神经网络，以模拟生物系统中快速和慢速神经群体之间的分工和协作。该架构采用数据自适应的特征编码器将多模态输入映射到统一的空间中，其核心是一个双时间尺度的协作存储库。快速存储库捕捉瞬态事件，而慢速存储库保持长期依赖性。两者通过可学习的交叉调制进行信息交换。此外，还采用了基于位置的时间注意力池化技术来适应性地关注关键时间段，而特征解耦多样性正则化则迫使两个存储库学习互补的表示，以防止记忆混淆。在四个数据集（即MNIST、CIFAR-10、DVS128手势和自建的DVS行为数据集）上进行了分类和联想记忆实验。在分类实验中，该模型的准确率分别为99.78%、96.26%、98.26%和99.26%，优于具有相似参数规模的单一池化基线。在各种退化查询条件下，双池模型的结构相似性指数得分始终高于单一池模型。这一结果表明，由具有多个时间常数的神经群体形成的协作记忆机制有效地增强了SNNs的时间建模能力和跨任务泛化能力。因此，它为受大脑启发的记忆计算提供了一种可重用和统一的框架设计。
引言
记忆是生物神经系统的核心功能，它使认知、学习和行为适应成为可能（Josselyn & Tonegawa, 2020）。从神经科学的角度来看，记忆的形成和存储依赖于多个时间尺度上神经元群体的协调活动。一些神经元对瞬态刺激反应迅速，并编码事件的特定细节。其他神经元能够在较长时间内维持神经活动，整合上下文信息并形成持久的表征。快速和慢速神经元群体之间的这种分工和协作使生物大脑在面对复杂动态环境时既能保持对突然事件的敏感性，又能保持整合长期依赖性的能力（Debanne & Inglebert, 2023）。
作为第三代神经网络，脉冲神经网络（SNNs）通过离散的脉冲事件传输信息，这在时间建模和低功耗计算方面具有天然优势（Maass, 1997）。近年来，研究人员从神经元异质性（Zeraati et al., 2026）、突触可塑性（Z. Deng et al., 2025）和联想记忆电路（Jiang et al., 2024）等角度探索了SNNs中的记忆建模。然而，现有的SNN模型在模拟生物记忆机制时仍面临两个关键挑战。首先，大多数SNNs使用具有单一时间常数的神经元群体，这使得它们难以同时捕捉瞬态事件并保持长期依赖性。时间常数过短的神经元对快速变化敏感，但容易丢失长期信息；而时间常数过长的神经元反应迟缓，无法适应突然的刺激（Izhikevich, 2003）。其次，SNN模型通常针对特定数据集和任务进行定制，缺乏可以在不同数据集和任务之间重用的统一框架架构。这种碎片化的设计方式不仅增加了模型开发中的重复工作，还限制了SNNs在神经形态计算领域的广泛应用。
为了解决这些问题，本文提出了一种基于双时间尺度协作记忆的统一SNN框架，名为DTM-SNN。该架构的核心思想是模拟生物记忆系统中快速和慢速神经元群体之间的分工和协作机制，从而在架构层面实现快速和慢速存储库之间的功能专业化。其主要贡献如下：
- (1)
在架构上，快速和慢速存储库是分开的，每个存储库都配备了独立的循环连接矩阵，从而从根本上避免了单一循环网络中共享连接导致的不同时间尺度信息之间的干扰。
- (2)
引入了一种可学习的双向交叉调制机制，使快速存储库的瞬态响应与慢速存储库的上下文信息在每个时间步骤中动态交换，从而形成循环协作回路。
- (3)
设计了包括特征解耦、多样性正则化、平衡softmax注意力、混合差分输入门控和基于位置的时间注意力池化在内的补充技术，以针对双池架构的特定故障模式，确保真正的功能专业化，而不是特征重复。
本文的结构如下：第2节回顾相关工作；第3节详细描述模型架构；第4节展示实验结果；第5节总结本文；第6节讨论泛化、消融分析和未来工作。
节片段
背景
由于事件驱动的计算范式和处理时间信息的固有能力，SNNs被认为是实现受大脑启发记忆计算的一个有力候选框架。近年来，研究人员从多个角度广泛探索了SNNs的记忆机制，包括神经元异质性、突触可塑性、存储库计算、联想记忆和海马神经回路的模拟。
神经元异质性，特别是
方法
本节详细描述了所提出的网络架构，即双时间尺度记忆脉冲神经网络（DTM-SNN）。该模型采用三阶段模块化设计，包括数据集自适应特征编码器、双时间尺度协作存储库网络和面向任务的读出层。编码器将来自不同模态的原始输入映射到统一的特征空间中。双存储库网络作为核心框架
实验
本节详细评估了所提模型在四个基准数据集上的性能，包括MNIST、CIFAR-10、DVS128手势和自建的行为DVS数据集。除了自建的行为DVS数据集外，所有数据集都进行了图像分类和联想记忆任务。自建的行为DVS数据集仅用于图像分类，以验证统一框架在不同任务上的泛化能力。实验
结论
本文提出了一种为记忆设计的统一脉冲神经网络框架。其核心创新在于模拟生物神经系统中快速和慢速神经元群体之间的分工和协调机制。通过构建具有不同时间常数的双存储库，并引入双向交叉调制、混合差分输入门控、基于位置的时间注意力池化等组件
讨论
在泛化方面，多项证据表明DTM-SNN学习的是可转移的时间动态，而不是基于记忆的训练模式。双池架构的优势随着数据集的时间复杂性而增强。消融实验确认，在DVS128手势数据集上，各组分的贡献比在CIFAR-10数据集上大一个数量级；四个数据集之间的系统化消融排名差异表明，该模型能够灵活利用
CRediT作者贡献声明
刘俊秀：监督、研究、资金获取、概念化、形式分析、方法论、验证、撰写——原始草案。张兆新：撰写——原始草案、方法论、研究、资金获取、形式分析、数据管理。傅强：撰写——审查与编辑、可视化、验证、方法论、资金获取。罗玉玲：资源、项目管理、形式分析、数据管理。秦胜：软件、资源、项目
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了广西科学技术项目（项目编号：GuiKeAD24010047和GuiKeJB2504240004）、广西自然科学基金（项目编号：2025GXNSFBA069292和2026GXNSFAA00640881）、广西新工程与技术研究实践项目（项目编号：XGK2022005）、2024年广西网络安全信息创新人才支持计划以及广西脑启发计算与智能实验室的资助（项目编号：BCIC-25-Z3）的支持。
刘俊秀|张兆新|傅强|罗玉玲|秦胜|欧扬
