融合聚合注意力与Transformer架构的脉冲神经网络高效精准计算模型

为解决脉冲神经网络(SNNs)低功耗特性与Transformer高性能难以兼容的难题，研究人员提出Spike Aggregation Transformer(SAFormer)框架，创新设计Spike Aggregated Self-Attention(SASA)机制，通过键矩阵特征聚合和深度卷积模块(DWC)增强特征多样性，在CIFAR等数据集上实现精度与能效双突破，为边缘计算提供新范式。

　　

在人工智能领域，脉冲神经网络(SNN)因其模拟生物神经元脉冲发放特性而备受关注，其事件驱动的稀疏计算模式可大幅降低能耗。与此同时，Transformer模型凭借自注意力(Vanilla Self-Attention)机制在各类任务中表现卓越。然而，这两种技术的融合面临根本性矛盾：SNN的稀疏计算特性与传统注意力机制依赖的密集矩阵运算存在天然冲突。现有Spiking Self-Attention(SSA)机制虽取消softmax步骤，但依然受困于二次方计算复杂度；而线性复杂度的Spike-Driven Self-Attention(SDSA)又因特征多样性不足导致性能下降。如何实现"鱼与熊掌兼得"——既保持SNN的低功耗优势，又发挥Transformer的高性能特点，成为制约类脑计算发展的关键瓶颈。

针对这一挑战，中国国家自然科学基金支持的研究团队在《Neural Networks》发表创新成果，提出Spike Aggregation Transformer(SAFormer)框架。该研究通过三个关键技术突破：首先设计Spike Aggregated Self-Attention(SASA)机制，摒弃值矩阵(value matrix)，利用键矩阵(key)的稀疏特征直接生成注意力权重；其次采用下采样技术压缩查询(query)和键矩阵维度，通过哈达玛积(Hadamard product)实现线性复杂度计算；最后引入深度卷积模块(DWC)增强局部特征提取能力。实验覆盖CIFAR-10、DVS128-Gesture等5个静态与神经形态数据集。

Spike Aggregation Transformer部分详细阐述了SAFormer的架构创新。基于标准的脉冲神经元模型，SASA机制通过三个关键改进：取消值矩阵计算，直接利用键矩阵的稀疏特征；采用下采样技术生成低维聚合矩阵；结合DWC模块增强特征多样性。这种设计使得注意力权重计算复杂度从O(N²)降至O(N)，同时保持丰富的特征表达能力。

Experiments部分显示，在CIFAR-10静态数据集上，SAFormer准确率达96.3%，较传统SSA提升2.1%，能耗降低37%；在动态视觉传感器数据集CIFAR10-DVS上，其分类精度达74.5%，超越Masked Spiking Transformer(MST)3.2个百分点，且仅需后者60%的时间步长。能效分析表明，SAFormer的单位分类能耗仅为1.2nJ，创下同类模型新低。

Discussions部分深入分析了性能提升机制。与传统SSA依赖密集矩阵乘法不同，SASA通过聚合矩阵的哈达玛积运算，既保留了脉冲序列的时空信息，又克服了稀疏矩阵特征贫乏的缺陷。DWC模块的引入使模型能同时捕获局部细节与全局关联，这一设计在神经形态数据处理的消融实验中得到验证。

Conclusion部分总结指出，SAFormer首次实现SNN与Transformer的优势互补，其线性复杂度的SASA机制为资源受限设备上的高效学习提供新思路。该研究不仅推动类脑计算发展，也为边缘智能设备的实时信号处理开辟了新途径。作者团队特别强调，虽然采用无参数下采样技术，但其性能反而超越传统参数化方法，这一发现对SNN的算法设计具有重要启示意义。