通过扩展表示和神经元异质性提升脉冲神经网络的学习效率

《Pattern Recognition》：Enhancing learning efficiency in spiking neural networks via expanded representation and neuronal heterogeneity

　　

• •
  我们提出了一种支持多值发放的统一脉冲神经元框架。
• •
  我们引入了动态阈值和反馈重置机制以实现自适应脉冲发放。
• •
  我们设计了阈值相关的代理梯度以实现稳定训练。
• •
  我们提出了一种整数到二进制的转换方法以实现节能推理。
• •
  所提方法在多个基准测试上取得了最先进的结果。

引言

脉冲神经网络（SNNs）作为利用事件驱动计算 [1] 和受生物启发的神经元动力学的节能神经模型，受到了越来越多的关注。其离散的脉冲通信和时间状态演化使 SNNs 天然适合处理序列数据和神经形态数据，同时提供了超越传统人工神经网络（ANNs）的生物学可解释性 [3]。这些优势使 SNNs 成为下一代神经架构的有前途的候选方案，在这些架构中，高效计算和可信部署都是重要的考量因素 [4]。

尽管具有这些优势，SNNs 的表达力本质上受到二进制脉冲发放的限制 [5]。携带丰富时空信息的膜电位被量化为 0/1 事件，导致传输过程中的信息损失 [6]。最近的多状态扩展，包括三元脉冲表示 [7] 和多级发放方案 [8]，表明增加脉冲状态基数可以缓解熵损失并增强空间编码。脉冲发放近似（SFA）进一步揭示，二进制发放难以捕获时间幅度信息，提示需要更具表达力的多值脉冲表示 [9]。

时间动力学受重置机制的强烈影响。硬重置强制将脉冲后的膜电位设为零，抑制膜电位多样性并限制时空编码 [10]。软重置减去阈值电压并被广泛使用，但它可能保留过多的残余电位，导致频繁脉冲发放、冗余传播和能效降低 [11]。

神经元阈值是调节发放行为的另一个关键因素。尽管已经在全局或通道级别引入了可学习阈值 [12]，但由于发放率对阈值扰动敏感、现有设计通常忽略膜电位和输入幅度等瞬时神经元状态 [13]，以及同质化阈值抑制了神经元间的多样性，其优势仍然有限。这些观察结果促使我们设计一种神经元级别、输入依赖的阈值机制。

总体而言，当前 SNNs 仍面临时空表示不足的问题：更丰富的脉冲状态可以增强空间编码，而自适应重置和阈值机制可以改善时间集成。在训练方面，大多数 SNNs 依赖于时空反向传播（STBP），但为二进制发放设计的代理梯度难以推广到多值脉冲函数 [14]。多值发放扩展的激活区间进一步增加了梯度不稳定的风险，需要一种兼具稳定性和可处理复杂度的代理梯度。

虽然 SNNs 可以用基于脉冲的累加（AC）操作取代乘累加（MAC）操作 [1]，但多值脉冲可能在推理期间重新引入 MAC 计算。此外，即使是二进制脉冲网络如 SEW-ResNet [15] 也可能通过残差累加产生多值激活。因此，需要一种有效的转换机制来恢复二进制兼容性并保持事件驱动效率。

基于上述动机，本工作做出了以下贡献：

• •
  我们引入了一种反馈重置机制，利用累积的脉冲反馈自适应地调整重置电压，在更少的脉冲下提高精度。
• •
  我们引入了一种由瞬时输入更新的逐神经元动态阈值，实现了自适应发放调节和神经元级异质性。
• •
  我们构建了动态阈值反馈重置泄漏积分多值发放（DTFR-LIMF）神经元，这是一个统一的空间表示、时间动力学和自适应发放框架。
• •
  我们设计了用于多值发放的阈值相关代理梯度（TdSG）及其加速变体 T²TdSG。
• •
  我们引入了脉冲分割转换和改进的整数到二进制（I2B）方法，以及基于二进制的能耗指标来估计突触能耗成本。

章节片段

脉冲神经元中的多值发放机制

早期试图扩展脉冲神经元表达能力的尝试集中在增加离散脉冲状态的数量上。多级发放（MLF）[8] 通过聚合多个并行 LIF 神经元实现多值输出，从而在网络级别实现多状态脉冲表示，同时在神经元级别保留了固有的 0/1 发放行为。三元脉冲 [16] 引入负脉冲实现三元神经元输出，表明增加

量化损失分析和多值发放机制

每当膜电位超过阈值时，就会发出一个脉冲：$$s^l\left[t\right]=\Theta \left(h^l\left[t\right]?V_{\mathrm{th}}\right),$$其中 $\Theta \left(?\right)$ 表示 Heaviside 阶跃函数。该阈值操作作为非线性量化器——类似于 ANNs 中的激活函数——不可避免地导致层间传输中的信息损失 [9], [16]。这种损失由两个部分组成：(1) 连续膜电位坍缩为离散脉冲值的固有损失，由 SNNs 的事件驱动特性决定 [1]；

数据集和实验设置

静态图像数据集。CIFAR10 包含 50,000 张训练图像和 10,000 张测试 RGB 图像，分辨率为 32 × 32，共 10 个类别，而 CIFAR100 包含 100 个类别，每类 600 个样本。Tiny-ImageNet 包含 200 个类别，每类 500 张训练图像和 50 张验证图像。所有图像均为 64 × 64 RGB。

神经形态数据集。CIFAR10-DVS 包含 10,000 条空间分辨率为 128 × 128 的事件流。遵循标准做法，我们每类使用 900 个样本来训练，并使用前 100 个

结论

本工作解决了限制 SNNs 在复杂模式识别任务中表现的信息表示不足和动力学同质化的根本瓶颈。通过从二进制转向多值发放，并引入输入依赖的动态阈值和基于记忆的反馈重置，我们提出了 DTFR-LIMF 神经元。这一统一框架在静态图像分类和神经形态识别基准测试上均取得了 SOTA 性能，同时保持了更低的脉冲

CRediT 作者贡献声明

Zeyu Huang：撰写初稿、调查、形式化分析。 Wei Meng：资源、调查。 Kun Chen：资源、调查。 Quan Liu：验证、项目管理、调查。 Rong Xiao：资源、调查。 Li Ma：撰写–审阅与编辑、监督、获取资金、概念化。

利益冲突声明

作者声明他们不存在已知的可能影响本论文所述工作的竞争性经济利益或个人关系。

致谢

本工作得到了 国家自然科学基金（62572364、52275029）、湖北省科技人才服务企业计划（2025DJB030）和 湖北省科技计划项目（2025CSA117）的支持。

Zeyu Huang|Wei Meng|Kun Chen|Quan Liu|Rong Xiao|Li Ma