基于损失函数的随机延迟驱动脉冲神经网络动态训练

《Computer Vision and Image Understanding》：Dynamic training of spiking neural networks with loss-based stochastic latency

　　杜晓|史万利|郑汉源|巴斯卡·穆科蒂|曹阳|顾斌|吴铁儒•提出一种用于低延迟鲁棒脉冲神经网络（SNN）的动态训练框架。•引入双缓冲机制，用于跟踪不同延迟配置下的短期与长期损失。•开发一种基于损失的随机采样方法，以优化具有延迟感知的训练过程。•从理论上揭示静态延迟权重如何导致时间梯度失衡。•在各种基准测试中，通过大幅降低延迟，实现了高达20%的精度提升。

引言
计算学习的最新进展凸显了受生物学启发的模型的重要性，尤其是在需要高效处理事件驱动任务的场景中。相关研究解决了诸多关键问题，比如在时空预测建模中实现可靠的可解释性（Altieri等人，2025年），捕捉序列事件数据中的模式（Letham等人，2013年），以及在高维数据中检测异常事件（Cheng等人，2023年）。这些工作强调了基于事件的计算所面临的复杂性及未来的发展方向。值得注意的是，对于低功耗、高性能的时空数据处理方案的需求，重新激发了对脉冲神经网络（SNN）的兴趣。基于生物神经计算原理，SNN非常适合用于解决现实世界中的复杂学习问题。我们的工作在此基础上进一步提出了一种针对基于事件数据的新型SNN训练框架，该框架适用于现代传感器系统及类脑计算领域。

随着IBM的TrueNorth（Merolla等人，2014年）和Intel的Loihi（Davies等人，2018年）等类脑计算平台的日益成熟，脉冲神经网络（SNN）作为一种符合生物学原理的高效计算方案逐渐受到重视。这类网络利用两种关键的生物启发机制：（1）通过膜电位阈值产生的二进制脉冲（0/1信号）实现事件驱动的通信；（2）借助具有泄漏积分-触发特性的神经元动态模型对输入进行时间整合（Lapicque，1907年；Stein，1967年）。这两种机制使得SNN能够以极高的能效处理来自动态视觉传感器（DVS）的时空模式（Lichtsteiner等人，2008年；Orchard等人，2015年），这一优势远远超过依赖连续浮点运算的传统人工神经网络（ANN）。由于ANN会保持持续的激活状态，而SNN则充分利用了基于事件数据所具有的稀疏时间结构，因此在执行相同的时间处理任务时，其能耗可降低10到100倍。

在脉冲神经网络（SNN）的训练过程中，存在两个相互关联的挑战。首先，脉冲激活函数的非可微特性（见第3节中的方程式（2））给基于梯度的优化带来了极大阻碍。为解决这一问题，有一些方法通过先训练一个人工神经网络（ANN），再将它的权重映射到脉冲神经网络对应的结构上，同时用产生脉冲的函数替代传统的激活函数，从而绕过这一难题。尽管在某些情况下这种方法有效，但基于转换的SNN往往需要更长的时间模拟窗口才能达到与ANN相同的性能，这可能会导致较高的推理延迟。此外，在严格的低延迟要求下，这类网络的精度可能会大幅下降，因此对于基于转换的训练流程来说，实现可变延迟部署并非易事（Ding等人，2021年；Bu等人，2022年；Bu等人，2025年）。因此，我们专注于直接训练方式，旨在通过自适应延迟采样来显著提升训练后的延迟泛化能力。

还有些方法采用替代梯度技术（Wu等人，2018年）来近似脉冲函数的导数，或手动计算脉冲序列间的梯度。然而，这些方法也存在另一个严重缺陷：训练得到的模型对训练过程中所使用的时间延迟配置（即模拟的时间步数）极为敏感。训练时的延迟配置与测试时的延迟限制之间存在差异，这给网络的可靠部署带来了很大挑战。我们的理论分析认为，这种现象是由于梯度传播动态失衡所致——那些使用静态时间加权方案的常规方法，无论是固定权重还是均匀采样，都会在连续的时间步骤中产生相互矛盾的优化路径。

从操作层面来看，延迟包括两个方面：（1）SNN神经元中的膜电位积分时间；（2）数据处理所需的事件帧序列长度。一项重要的实证研究表明，SNN的性能指标——包括预测精度、计算开销以及能耗——都与训练时所采用的延迟配置密切相关。但在实际的类脑计算应用中，推理延迟往往并非固定不变。在实时边缘系统中，由于能量限制（电池/温度限制）、系统负载的变化，以及具有不同吞吐量-功耗特性的异构硬件平台，可用的时间资源可能会发生变化。此外，基于事件的传感器在不同运动模式或光照条件下的事件发生率也可能存在很大差异，这使得有效的时间积分范围取决于具体数据情况。正是基于这些考虑，人们提出了“随时可用”的SNN部署理念，即期望同一个训练好的模型能够在多种不同的测试延迟条件下保持稳定的精度，从用于快速响应的极短序列，到在允许更多计算资源时的较长序列。

时间高效训练（TET）方法（Deng等人，2022年）试图通过应用统一的时间损失平均策略来解决与延迟相关的问题，从而简化时间动态特性。然而，这种方法会抑制那些具有时间局部性的判别特征，从而导致重要时间信息的丢失以及性能下降。另一方面，随机延迟训练（SLT）方法（Anumasa等人，2024年）则通过引入随机采样来探索不同的延迟配置。虽然这种方法提高了灵活性，但它缺乏一种合理的策略来优先处理关键的延迟值，从而导致对延迟空间的探索效率低下，时间泛化能力不佳。实证评估表明，与训练时的配置相比，这些方法在极端低延迟条件下使用时，其精度下降幅度可超过40%。

为了解决这些局限性，我们开发了一种具有延迟感知能力的动态训练框架，该框架由两个相互协作的组件构成。第一个组件是双缓冲状态跟踪机制，用于记录不同延迟配置下的短期与长期损失情况。第二个组件则是自适应概率采样器，它根据缓冲区中的信息动态调整延迟采样的权重。这种架构能够自动在优化过程中确定优先处理的延迟配置，通过自我调节来实现平衡的梯度传播，而无需手动调整超参数。大量实验表明，无论是在VGG/ResNet架构下，还是在各种静态/基于事件的数据集上，尤其是在大幅降低延迟的情况下，该框架都能带来稳定的性能提升。

本研究取得了以下重要进展：
•从梯度层面分析了训练延迟配置及静态时间加权方式如何影响不同时间步骤中的梯度贡献，从而为理解延迟泛化行为提供了新的视角；
•提出了一种全新的缓冲架构，该架构能够整合不同时间尺度的损失动态（短期波动与长期趋势），从而帮助智能选择最优的延迟配置；
•设计了一种动态随机训练协议，该协议通过基于损失的延迟采样来确保模型在各种不同的测试延迟条件下的稳定性；
•通过系统的实证验证，证明了该框架在面对不同延迟约束时，能够在各类SNN架构及数据类型上实现一致的性能提升。

本文的结构如下：第2节对以往的研究成果进行了深入分析，第3节则正式阐述了相关的基本概念。第4节通过分析现有固定延迟及均匀随机延迟训练策略为何无法在测试时面对延迟变化时仍保持良好性能，从而引出本研究的主题。第5节详细介绍了所提出方法的算法组成及其理论依据。第6节通过对比实验及消融研究，评估了该方法的效果。最后，第7节总结了主要研究成果，并探讨了其对类脑计算领域的更广泛意义。

相关研究
将SNN从ANN转换而来。目前一种较为常见的获取脉冲神经网络（SNN）的方法，就是直接将预训练好的人工神经网络（ANN）转换为SNN。Cao等人（2015年）最早提出了这样的方法，他们通过用具有泄漏积分-触发特性的机制替换ReLU激活函数，将无偏CNN的激活值转换为脉冲序列。为了提高原始ANN与其对应的脉冲神经网络之间的相似度，Diehl等人（2015年）又引入了权重调整机制。

SNN中的脉冲神经元
在SNN中，脉冲生成器负责积累膜电位，并根据积累的电位值产生脉冲信号。在本研究中，我们采用了广泛使用的泄漏积分-触发型神经元（LIF神经元，Stein，1967年）作为脉冲生成器，其具体公式如下：
H(t)=V[t?1]+1τ(X[t]?(V[t?1]?Vreset))
S[t]=Θ(H[t]?Vth)
V[t]=H[t](1?S[t])+Vreset
S[t]
其中，τ表示膜电位的时间常数，X[t]表示第t时刻的输入电流。Vreset为重置电位，Vth则为脉冲产生的阈值。

研究动机
脉冲神经网络（SNN）在计算效率、时间精确度以及分类精度之间面临着三者难以兼得的困境。虽然目前的训练方法能够在预设的延迟条件下提升模型精度，但它们在面对不同推理延迟时的泛化能力仍然有限。我们的实证研究显示，那些在固定延迟或均匀采样延迟条件下训练得到的模型，在面对不同的测试延迟时，其性能会出现显著下降。

方法
基于第4.2节中对延迟覆盖范围的分析，我们提出了动态随机延迟（DSL）训练框架，如图1所示。该框架的核心思想是根据观察到的误差模式，自适应地重新调整时间损失的权重，从而引导优化过程在所有延迟条件下都能更快地收敛。该框架能够动态调整不同延迟值的采样概率，从而避免在较低延迟条件下出现样本代表性不足的问题。

实验
在本章中，我们验证了所提出的训练框架的有效性，并将其与多种相关的基线方法在多种静态及类脑计算数据集上进行了比较。

结论
我们的工作通过三项核心贡献，系统地解决了SNN训练中的低延迟鲁棒性问题。首先，我们建立了梯度传播失衡与静态时间加权方案之间的理论联系，进一步拓展了之前关于时间学习模式的研究成果。其次，我们所提出的具有动态随机延迟采样的双缓冲架构，相较于现有的时间平均方法，能够在更广泛的延迟配置下实现更好的泛化能力。

CRediT作者贡献说明
杜晓：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件，资源，方法论，形式分析，概念构建。史万利：写作——审稿与编辑。郑汉源：验证，软件。巴斯卡·穆科蒂：形式分析。曹阳：指导，研究调研。顾斌：写作——审稿与编辑，指导，方法论，形式分析。吴铁儒：写作——审稿与编辑，指导，研究调研。

利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：吴铁儒表示自己获得了中国国家关键研发计划的资金支持（项目编号：2022YFB3103702）；杜晓也表示自己得到了中国国家关键研发计划的资助（项目编号：2022YFB3103702）。其他作者则声明自己不存在已知的利益冲突。

致谢
本项工作得到了中国国家关键研发计划的支持（项目编号：2022YFB3103702）。