《Neurocomputing》：From silicon to spikes: System-wide efficiency gains via exact event-driven training in neuromorphic computing
编辑推荐：
本文提出了一种用于连续时间脉冲神经网络（SNN）的精确事件驱动梯度训练框架。该框架联合训练突触权重、轴突延迟和自适应放电阈值，无需替代梯度平滑或密集时间离散化。通过将每个脉冲时间视为所有神经突触参数的隐函数，并应用事件形式的隐函数定理对阈值穿越进行微分，研究人
本文提出了一种用于连续时间脉冲神经网络（SNN）的精确事件驱动梯度训练框架。该框架联合训练突触权重、轴突延迟和自适应放电阈值，无需替代梯度平滑或密集时间离散化。通过将每个脉冲时间视为所有神经突触参数的隐函数，并应用事件形式的隐函数定理对阈值穿越进行微分，研究人员在脉冲事件处精确计算梯度，从而消除了膜电位迹线的存储需求，将片上存储流量降低至多24倍。在五个神经形态事件基准上，该方法在分类精度和脉冲时间精度方面均优于现有方法，同时与事件稀疏硬件的执行模型高度对齐，显著降低了能耗并提升了可靠性。
论文解读文章
一、研究背景与问题
人工智能（AI）工作负载的快速扩展正与物理极限发生冲突。最先进的语言和视觉模型在大型数据中心已消耗兆瓦级电力，并在移动和嵌入式平台上快速耗尽电池。在传统冯·诺依曼架构中，数据在内存与计算单元之间的搬运成本已与算术运算本身相当。随着功耗、散热和碳排放预算从次要问题上升为关键设计约束，仅靠传统架构的增量式效率提升已无法满足需求。
神经形态计算提供了一条截然不同的路径。通过将存储与计算共置，并以稀疏的二进制脉冲表示信息，IBM的TrueNorth和Intel的Loihi/Loihi-2等原型芯片已在特定应用上展示了相比传统GPU和CPU显著的每推理能耗优势。这些平台执行异步的泄漏积分发放（LIF）神经元网络，仅通过脉冲事件进行通信，并将突触权重、轴突延迟和神经元参数暴露为可编程旋钮。从系统角度看，神经形态处理器不仅是生物学上的有趣现象，更是后摩尔时代效率与算法-硬件协同设计的可信候选方案。
然而，脉冲神经网络（SNN）的训练与执行之间存在显著脱节。主流训练流程依赖替代梯度（SG）方法，将不可微的脉冲替换为平滑伪导数，并将连续膜动力学离散化以应用时间反向传播（BPTT）。这些方法虽然有效且可扩展至深度残差和注意力风格SNN，但存在三个系统性代价：第一，时间网格模糊了精确脉冲时间，并将信用分配绑定到所选步长；第二，训练需要在所有时间步存储并重访膜电位迹线，增加了内存和片上带宽需求；第三，学习动态使用了事件驱动神经形态处理器天然不暴露的密集状态。
此外，现有方法对SNN中比突触权重更丰富的时间自由度利用不足。许多神经形态平台将轴突传输延迟和自适应放电阈值作为一等可编程参数暴露，但大多数替代梯度框架仅优化权重而保持延迟固定或手工调整。少数方法加入可训练延迟但仍依赖离散时间替代和密集模拟。自适应阈值等内在可塑性机制通常被孤立学习或通过专门架构实现。更近期的精确事件驱动方法，如EventProp和DelGrad，虽在连续时间上解析微分脉冲时间，但仅覆盖参数空间的子集——EventProp仅覆盖权重，DelGrad覆盖权重加延迟。据研究人员所知，尚不存在统一框架能够同时：(a)在连续时间计算精确梯度，(b)严格在脉冲事件处运行，(c)在单一一致微积分下协同优化突触权重、可编程延迟和自适应阈值。
二、研究内容与结论
本研究旨在弥合上述空白，开发了一个解析的、事件驱动的学习框架，直接在连续时间中运行，并为这三种正交时间控制提供精确梯度。核心思想是将每个脉冲时间视为所有神经突触参数的隐函数，并应用事件形式的隐函数定理对阈值穿越进行微分。只要脉冲计数和顺序在小参数扰动下保持稳定——这是一个可形式化的温和条件——脉冲时间就是可微的，其梯度可以在无任何替代平滑或密集时间离散化的情况下通过网络反向传播。
算法上，这产生了一种事件驱动反向传播方案：梯度仅在脉冲事件处计算，阈下动力学通过解析方式处理，训练期间唯一需要存储的状态是脉冲时间和突触索引集合。因此，计算和内存流量均随脉冲数量而非墙钟时间扩展，使学习动态与神经形态硬件的事件驱动执行模型对齐。
研究在五个神经形态事件基准上进行了评估，包括动态视觉传感器（DVS）手势识别、DVS Heidelberg数字分类等任务。实验通过受控消融研究，将完整框架与匹配EventProp风格权重学习和DelGrad风格权重-延迟学习的参数子集进行比较，以阐明自适应阈值的贡献。结果表明，联合训练权重、延迟和自适应阈值在分类精度和脉冲时间精度上均优于仅训练权重或权重加延迟的变体。同时，事件局部梯度消除了对密集膜电位迹线的存储需求，将片上SRAM流量降低至多24倍，并相应降低了能耗、温升和可靠性风险。
三、主要技术方法
本研究采用以下关键技术方法：第一，基于LIF神经元模型的连续时间脉冲神经网络形式化，利用格林函数求解带脉冲输入的线性时不变系统；第二，将脉冲时间视为参数隐函数，应用隐函数定理推导精确的连续时间梯度公式，涵盖权重、延迟和自适应阈值幅度三类参数；第三，事件局部反向传播算法，仅存储脉冲记录、局部斜率和参数梯度而非密集膜迹线；第四，在五个神经形态事件基准上评估，并通过受控消融隔离各参数族的贡献。研究还通过事件重放估计SRAM流量、能耗、温升和可靠性指标，以明确硬件证据的范围。
四、研究结果
精确事件驱动梯度推导。 研究推导了简单穿越条件下权重、延迟和自适应阈值幅度的精确连续时间脉冲时间梯度。通过将阈值穿越条件视为隐式方程，并利用隐函数定理，获得了封闭形式的梯度递归公式。对于首个脉冲，自适应阈值对梯度的贡献为零；对于后续脉冲，阈值动态通过指数衰减的自身历史脉冲贡献影响脉冲时间。
事件局部反向传播算法。 研究开发了训练状态仅由脉冲记录、局部斜率和参数梯度组成的反向传播算法，而非密集膜电位迹线。这使得计算和内存流量随脉冲数量而非时间步长扩展，与事件驱动硬件模型天然对齐。该算法在五个神经形态事件基准上实现了更高的分类精度和脉冲时间精度。
受控消融分析。 通过匹配EventProp风格权重学习和DelGrad风格权重-延迟学习的参数子集，研究阐明了自适应阈值的独立贡献。结果表明，联合优化三类参数优于任何子集组合，验证了时间控制自由度之间的互补性。
系统级硬件评估。 通过事件重放估计SRAM流量、能耗、温升和可靠性指标，研究将模型精度与硬件指标分离评估。结果显示，消除膜迹线存储将片上存储流量降低至多24倍，相应降低能耗和温升，并提升平均无故障时间（MTBF）相关的可靠性指标。
五、讨论与结论
本研究开发的精确事件驱动训练框架，首次在单一统一框架中联合优化突触权重、可编程延迟和自适应阈值，同时保持连续时间精确梯度和严格事件局部状态。这直接解决了现有方法的三个核心局限：消除了密集时间步进和替代平滑，通过脉冲时间实现精确时间信用分配，并与当代神经形态硬件的事件稀疏执行模型匹配。
从方法论角度看，精确事件驱动梯度调和了时间表达性与训练效率：延迟对齐脉冲到达，阈值跨脉冲调节兴奋性，权重缩放脉冲幅度——三个正交时间控制用同一解析机制优化。从系统角度看，事件局部梯度消除了向软件暴露密集膜迹线的需求，允许SRAM驻留训练缓冲区并减少片上流量，而片上流量通常是能耗和热驱动的主导因素。
研究结论表明，将脉冲事件本身作为计算和学习的基本单元，在SNN训练规则的设计空间中开辟了一个新的操作点，同时尊重真实脉冲动力学、利用延迟和神经元适应的丰富时间编码，并保持与事件稀疏神经形态硬件对齐。未来工作可探索将该框架扩展到递归网络拓扑、更复杂的神经元模型以及片上学习原型实现。
