REST-SNN: 用于鲁棒脉冲神经网络的正则化且高效时空注意力

《Neurocomputing》：REST-SNN: Regularized and efficient spatio-temporal attention for robust spiking neural networks

　　

摘要

基于注意力机制的脉冲神经网络（SNNs）提升了表征学习能力，但连续的注意力调制在离散脉冲动力学中引入了一条对扰动敏感的通路。我们提出REST-SNN，一种结合注意力整合整数泄漏积分-发放模型（AI-LIF）实现与空间平滑正则化（SSR）及时间一致性正则化（TCR）的时空注意力框架。AI-LIF遵循I-LIF的整数训练和虚拟时间步范式，在训练期间使用有界整数响应，并在推理时将它们分解为二元事件以进行线性突触累积。局部替代响应分析将注意力灵敏度对输出扰动的直接贡献与通过输入电流通路传播的变化分离开来。互补分析将注意力时间变化与调制后替代输出变化的上界联系起来。这些结果支持SSR和TCR，但并不构成对硬脉冲序列的已认证鲁棒性保证。在CIFAR-10、CIFAR-100、ImageNet及原生事件型DVS128-Gesture基准上的实验表明，REST-SNN在评估的扰动条件下提升了精度。在CIFAR-100上，其平均扰动精度比对比中次优结果高出1.30个百分点。配对测量进一步显示参数数量不变，且在报告精度下A100推理成本相当。这些结果支持REST-SNN作为提升注意力型SNN在评估的输入破坏条件下稳定性的实用方法。源代码可在 https://github.com/nianyu24-hue/REST-SNN- 获取。

引言

脉冲神经网络（SNNs）通过稀疏、事件驱动的脉冲处理提供节能和低延迟计算，使其在神经形态部署和实时边缘感知方面极具吸引力。通过将信息编码为时间精确的脉冲序列并显式建模神经元动力学，SNNs与生物神经系统高度相似，并能自然捕获序列数据中的时间信息[1], [2]。与传统人工神经网络（ANNs）相比，SNNs在部署于神经形态硬件时表现出显著优势，特别是在功耗效率和低延迟推理方面[3], [4]。这些特性使SNNs对资源受限和实时应用（如自主感知和边缘智能）尤其具有吸引力。

尽管具有上述优势，SNNs在视觉任务中面临两个相互关联的挑战。首先，标准泄漏积分-发放（LIF）神经元的离散二元脉冲限制了表征粒度，这在精细空间交互和长程时间依赖中尤为关键[5], [6], [7]。现有方案在一定程度上提升了表达力，但通常忽视了连续注意力调制与离散脉冲动力学之间的耦合效应，后者可能随时间放大输入扰动。其次，在噪声输入或长时间跨度下的稳定性仍然困难：膜电位的微小扰动可能引发突变的脉冲跃迁，量化误差可能通过递归动力学不断累积[8], [9]。先前研究探索了随机性和噪声在SNNs中的作用，表明噪声特性会影响鲁棒性和泛化能力[10]，然而关于注意力机制如何与这些动力学相互作用的系统性理解仍然不够成熟。

SNNs中的时间维度，特别是对于跨时间步复制的静态输入，往往被低估。临时膜动力学并非被动重复，而是充当一种迭代优化机制，逐步整合证据、增强时空表征并抑制无信息背景噪声[11]。时空注意力（STA）利用这一时间整合窗口随时间重新加权显著区域，从而在干净条件下提升性能。近期神经计算领域的研究引入了专为SNNs定制的自注意力变体，证明了增强时间建模可提升干净精度[12], [13]。

然而，在现实噪声环境中，连续注意力掩膜乘性调制离散脉冲，导致灵敏度放大和脉冲轨迹不稳定[14], [15]。现有基于注意力的SNN方法往往聚焦于干净场景下的性能增益，在原则性鲁棒性分析方面存在空白。

此处讨论的脆弱性源于硬脉冲量化与连续注意力调制之间的相互作用。硬量化器在发放边界处不连续，而注意力图提供了一条连续通路，输入变化可通过该通路改变调制响应。因此，我们使用可微局部松弛来分析该通路，并将硬脉冲不连续性保留为明确限制。该分析支持控制注意力的输入灵敏度和时间变化，而有界整数响应提升了训练时的表征粒度。

受此分析启发，我们提出REST-SNN，其中REST代表脉冲神经网络中经过正则化的高效时空注意力建模。REST-SNN将注意力整合整数泄漏积分-发放（AI-LIF）实现与两种注意力级正则化器相结合。"注意力整合"一词标识其在REST-SNN架构中的角色，并不意味着单独学习的神经元适应。主要贡献如下：

- 基于I-LIF的注意力正则化架构内的整数响应。我们使用I-LIF[5]建立的裁剪整数响应、残差软重置和虚拟时间步分解，并以阈值归一化形式写入以便集成到REST-SNN中。每个响应受上界约束，且可分解为二元事件以进行线性突触累积。我们并不声称新的神经元原理或完整递归网络的无条件等价性。

- 由局部分析支持的鲁棒性导向正则化框架。对于保留残差软重置动态的替代响应松弛，我们界定了注意力对输出扰动的直接贡献，并分别界定了注意力调制替代输出的时间变化。该分析支持SSR和TCR，同时保留未控制的电流通路以及替代动态与硬脉冲动态之间的差距。

- 基于帧和事件导向扰动的评估。在CIFAR-10、CIFAR-100、ImageNet和DVS128-Gesture上的实验表明在评估的破坏条件下精度更高。配对测量还显示参数数量不变，且在报告精度下A100推理成本相当。

本文其余部分组织如下：第2节回顾脉冲神经元模型、时空注意力以及SNNs鲁棒性方面的相关工作。第3节介绍LIF神经元和基于注意力的SNNs的预备知识。第4节提出REST-SNN框架，包括AI-LIF神经元设计和双重正则化策略。第5节报告实验结果和分析。第6节讨论理论意义、实际考虑和所提方法的局限性。最后，第7节总结全文并概述未来研究方向。

相关工作

脉冲神经网络（SNNs）的最新进展聚焦于提升表征能力、时间建模以及实际部署条件下的鲁棒性。本节从三个角度简要回顾相关研究：脉冲神经元建模、时空注意力机制以及SNNs中面向鲁棒性的优化。

泄漏积分-发放（LIF）神经元

LIF神经元通过引入被动膜衰减扩展了积分-发放（IF）模型：

其中 代表膜电容， 表示突触输入电流， 是泄漏电导， 是静息电位。经过时间离散化后，膜电位更新为：

其中 表示第 层第 个神经元在时间步 的膜电位。项 代表连接第 个前突神经元到第 个神经元的突触权重， 是……

方法

本节将基于I-LIF的响应、局部分析与优化设计联系起来。我们首先指定REST-SNN中使用的整数响应。然后分析一个保留残差软重置的可微替代系统。扰动结果将调制输出的直接注意力贡献与其传入电流的变化分离开来；时间结果确定了TCR控制的那个输出变化中的项。这些结果支持SSR和TCR作为可处理的……

实验

我们在静态图像鲁棒性基准和DVS128-Gesture事件导向扰动下评估REST-SNN。每个基准内部的扰动定义相同。仅在显式配对比较中得出骨干网络控制的结论；不同架构间的结果作为描述性结果。我们还报告了条件组件比较、系数敏感度和配对GPU效率测量。

讨论

本工作在注意力调制脉冲神经网络中将理论误差传播分析与实际优化设计联系起来。除了静态图像分类基准上展示的实证增益之外，若干更深层的理论意义、实际考虑和根本局限性值得系统讨论。

结论与未来工作

本工作提出REST-SNN，将基于I-LIF的整数响应与面向鲁棒性的注意力正则化相结合。局部替代响应分析将注意力调制输出的直接灵敏度与其传入电流通路分离开来，并将注意力时间变化与调制后替代输出的变化联系起来。这些结果支持训练目标，同时明确保留硬脉冲不连续性和未控制的电流通路。

实验

贡献声明

余鸿张：撰写—审阅与编辑、资金获取、概念设计。张硕：撰写—初稿、软件、资源、方法论。王雨婷：撰写—审阅与编辑、概念设计。范如意：撰写—审阅与编辑、方法论。Umer Nauman：撰写—审阅与编辑、形式分析。朱春华：指导、资金获取。

利益冲突声明

作者声明以下财务利益/个人关系，可能被视为潜在利益冲突：余鸿张报告与河南工业大学人工智能与大数据学院的关系，包括：雇佣。如有其他作者，他们声明没有已知的竞争性财务利益或个人关系可能影响本论文报告的工作。

致谢

本工作得到河南工业大学粮食信息处理中心开放研究基金（项目编号：KFJJ2026016）、河南省自然科学基金（项目编号：262300420307）、河南省教育科学规划重点项目（项目编号：2025JKZD20）以及国家自然科学基金（项目编号：61975053）的支持。

余鸿张于2012年获得电子科技大学计算机科学博士学位。现任河南工业大学人工智能与大数据学院副教授。研究方向包括深度学习、脉冲神经网络和类脑计算。

余鸿张 | 张硕 | 王雨婷 | 范如意 | Umer Nauman | 朱春华

粮食信息处理与控制教育部重点实验室（河南工业大学），中国郑州，450001