循环脉冲神经网络中用于稳定顺序学习的学习容量分配

《Neural Networks》：Learning capacity allocation for stable sequential learning in recurrent spiking neural networks

　　

• •
  学习能力分配被确定为序列学习中的一个上游因素。
• •
  任务依赖的内在可塑性分配提高了RSNNs的稳定性。
• •
  分配诱导了均匀适应下不存在的神经元级和网络级专业化。

引言

在多个相关任务上进行序列学习对人工神经系统构成了一个根本性挑战（McCloskey, Cohen, 1989, Parisi, Kemker, Part, Kanan, Wermter, 2019），其中在不过度重置的情况下持续更新参数会导致学习动态积累、不稳定以及已获取知识的丢失。虽然这一问题通常通过改进优化规则或正则化技术来解决（Chaudhry, Dokania, Ajanthan, Torr, 2018, Kirkpatrick, Pascanu, Rabinowitz, Veness, Desjardins, Rusu, Milan, Quan, Ramalho, Grabska-Barwinska, et al., 2017, Zenke, Poole, Ganguli, 2017），但大多数现有方法隐含地假设适应在预先指定的大型参数集上是允许的，并主要关注如何应用更新，而非确定在网络中何处应允许适应，鉴于学习并非无偿（Achille, Eccles, Matthey, Burgess, Watters, Lerchner, Higgins, 2018, Yao, Zhou, Mahdavi, Li, Socher, Xiong, 2020, Yoon, Yang, Lee, Hwang, 2018）且参数更新消耗有限的表示和计算资源，这是一个更具基础性的问题。这意味着决定神经系统的哪些组件可以适应必须先于或伴随着学习规则本身的设计，揭示了一个位于更新机制上游的、更深层且 largely 被忽视的问题：针对给定任务家族，在网络的各个元素间进行学习能力分配的战略。我们将其形式化为一个学习能力分配问题，即决定在神经系统中何处允许适应，这与均匀适应的普遍假设形成对比（图1）。在此，学习能力指的是可学习的参数子空间，即可以施加可塑性的参数。

循环脉冲神经网络（RSNNs）为研究序列学习中的学习能力分配提供了一个原则性框架（Maass, 1997）。作为稳定性及计算功能对可塑性发生位置极为敏感的动力系统，RSNNs自然地体现了结构化适应与网络稳定性之间的核心张力（Huebotter, Lanillos, van Gerven, & Thill, Maryada, Soldado-Magraner, Sorbaro, Laje, Buonomano, Indiveri, 2025, Zhang, Zhou, Li, Zhu, 2019）。RSNNs的内在神经元参数，如时间常数和发放阈值，可以直接控制神经元动态和时间整合。尽管近期研究表明，这些可适应的内在参数可以增强学习，但现有方法通常允许它们均匀变化，而未能根据任务需求战略性地分配这种可塑性形式（Fang, Yu, Chen, Masquelier, Huang, Tian, 2021, Shaban, Bezugam, Suri, 2021, Zheng, Zheng, Hu, Xiao, Wu, Yu, Liu, Li, Deng, 2024）。这种方法忽视了容量分布的根本问题，即如何将网络有限的内在可塑性最优地分配以支持稳定和高效的序列学习。

为回答这一问题，我们引入一个将学习能力分配与其利用分离的两阶段框架。我们在一个新颖的模型中其实例化，即内在可塑性平方RSNN（IP2-RSNN），该模型既学习内在神经元参数，更重要的是，学习一个关于何处允许可塑性的策略。在此，IP2 表示内在可塑性在我们框架中的两个不同角色。一方面，内在神经元参数本身是可适应的，另一方面，这种内在可塑性的可用性由分配机制进一步控制。该框架分两阶段运行：一个元学习分配阶段，为任务家族确定一个结构化的可塑性预算；随后是一个评估阶段，其中序列学习在此固定预算内进行。这一设计直接检验了我们的核心假设：战略性地限制可塑性位置提供了一种原则性机制以稳定学习并减轻干扰，从而为研究容量分配原则提供一个计算模型。

我们在来自神经科学的四个具有认知动机的延迟反应任务家族上评估我们的框架（Britten, Shadlen, Newsome, Movshon, 1992, Funahashi, Bruce, Goldman-Rakic, 1989, Mante, Sussillo, Shenoy, Newsome, 2013, Mendoza-Halliday, Martinez-Trujillo, 2017）。这些任务共享共同的刺激-延迟-反应结构，但在功能需求上有所不同，涵盖将高维刺激映射为离散动作的基于决策的任务，以及需要随时间维持和重放信息的基于再现的任务。这种受控的多样性使我们能够考察学习能力分配如何在不同任务类间变化，以及选择性分配是否支持稳定和高效的序列学习。我们的模型在所有任务家族上都取得了稳健性能，同时大幅减少了干扰并诱导了结构化的、任务依赖的专业化。

我们的贡献有三方面：(1) 我们确定学习能力分配是序列学习中的一个基本问题；(2) 我们引入了IP2-RSNN，一个在RSNNs中分配内在神经元可塑性并评估其对序列学习效果的两阶段框架；以及 (3) 我们通过实证表明任务依赖的内在分配在序列学习期间减少了干扰并诱导了结构化专业化。

章节片段

选择性机制

在计算层面，学习能力分配可被视为一种特定形式 的选择性。然而，先前的工作主要探索了学习或计算如何在何处进行组织，而将更上游的问题——即系统内部何处应允许适应—— largely 未受考察。某些元学习和持续学习方法采用参数分区或冻结来减轻干扰（Mallya, Davis, Lazebnik, 2018, Mallya, Lazebnik, 2018

预备知识

我们描述一个在整个工作中作为基础模型的RSNN的神经元动态，并包含内在神经元参数。在此阶段，所有模型参数均视为固定；学习在4节中指定。

在每个时间步 t，外部输入 x_in(t) 和循环活动 $S_{\text{mem}}(t?1)$ 诱导一个有效输入电流$$I\left(t\right)={\mathbf{W}}_{\text{in}}{x}_{\text{in}}\left(t\right)+{\mathbf{W}}_{\text{rec}}{S}_{\text{mem}}(t?1)+N\left(t\right),$$其中 W_in 和 W_rec 分别表示输入和循环突触权重，而 N(t) 是加性噪声。当树突整合

方法

我们考虑一个序列学习场景，其中模型遇到一系列相关任务 $T_i\in \mathcal{T}$，这些任务来自一个共同的任务家族 $\mathcal{T}$，并在不重置其参数的情况下对每个任务进行适应。此处，“不重置”意味着可学习的模型参数，包括突触权重和掩码启用的内在参数，在任务间传递。在此模式下，学习更新在共享参数空间内积累，导致跨任务的干扰。在此，我们采用一种上游

任务家族

我们考虑四个改编自神经科学实验的任务家族：延迟匹配样本（DMS）、基于上下文的延迟匹配样本（CD-DMS）以及两个go/no-go延迟回忆家族（GNG-DR-2 和 GNG-DR-4）（Britten, Shadlen, Newsome, Movshon, 1992, Funahashi, Bruce, Goldman-Rakic, 1989, Mante, Sussillo, Shenoy, Newsome, 2013, Mendoza-Halliday, Martinez-Trujillo, 2017）。

基于其底层任务规则，这些任务家族可以归为两类。基于决策的任务

讨论与结论

在相关任务家族上进行序列学习对神经系统构成了一个根本性挑战，因为不受约束的参数适应可能导致不稳定和干扰。在本工作中，我们确定学习能力分配，定义为决定何处允许适应的问题，是一个上游且 largely 被忽视的塑造序列学习动态的因素。

我们引入了IP2-RSNN，一个显式地在

CRediT 作者贡献声明

Yingchao Yu： 撰写 – 审阅与编辑，撰写 – 原始草稿，软件，方法学，形式化分析。Yaochu Jin： 撰写 – 审阅与编辑，监督，资源，方法学，概念化。Kuangrong Hao： 撰写 – 审阅与编辑。Yuchen Xiao： 撰写 – 审阅与编辑。Yuping Yan： 撰写 – 审阅与编辑。Hengjie Yu： 撰写 – 审阅与编辑。Zeqi Zheng： 撰写 – 审阅与编辑。Wenxuan Pan： 撰写 – 审阅与编辑。

利益冲突声明

作者声明不存在可能影响本论文报告工作的竞争性经济利益或个人关系。

致谢

本研究部分由浙江省自然科学基金资助，项目编号为 LD25F020006。

Yingchao Yu|Yaochu Jin|Kuangrong Hao|Yuchen Xiao|Yuping Yan|Hengjie Yu|Zeqi Zheng|Wenxuan Pan