《Knowledge-Based Systems》:TranSpikformer: Enhanced Transformer-based Spiking Neural Networks with Uniform Attention Augmentation and Depthwise Convolutional Positional Encoding
编辑推荐:
本文提出TranSpikformer模型,通过引入Uniform Attention Augment(UAA)和Depthwise Convolutional Positional Encoding(DCPE)创新机制,显著提升时空数据处理能力,在CIFAR10-DVS等数据集上达到最高准确率95.9%,较基线模型提升15%。
邓涛 | 杨成帆 | 刘文博 | 赵春宇 | 李然 | 黄毅
中国成都,西南交通大学信息科学与技术学院
摘要
与传统的人工神经网络(ANNs)不同,脉冲神经网络(SNNs)提供了一种受生物学启发的、能效高的计算模型。在本文中,我们开发了一种基于Transformer的增强型脉冲神经网络,称为TranSpikformer,它结合了均匀注意力增强(UAA)和深度卷积位置编码(DCPE),提升了计算机视觉任务中时空信息的处理能力。DCPE创新性地实现了自适应的空间编码,同时保持了SNNs的平移不变性,从而改善了时空数据与语义图像特征的处理效果。此外,UAA重新校准了每个批次内的样本注意力,有效减少了图像数据中对特定局部区域的偏见。我们的研究在多个数据集上展示了显著的模型性能提升,包括CIFAR10、CIFAR100、CIFAR10-DVS、DVS128 Gesture和N-Caltech101。值得注意的是,我们的方法在CIFAR10-DVS和CIFAR10上的性能分别达到了95.9%和96.35%,超越了最高对比模型的15%和0.74%。
引言
脉冲神经网络(SNNs)作为第三代神经网络模型,已成为人工智能领域的前沿技术,其基于生物学的事件驱动架构与传统的人工神经网络(ANNs)截然不同。SNNs具有生物学启发的时空动态特性和二进制(0/1)激活机制[1],不仅提高了模型的生物学可解释性,还降低了能耗。这主要归功于它们的独特特性,如脉冲神经元模型的时间动态性、平衡稳态和可塑性的突触结构,以及功能特定的网络结构。将SNNs部署在TrueNorth[2]、Loihi[3]和Tianjic[4]等神经形态芯片上,为传统ANNs的高能耗问题提供了可持续的解决方案,使其能够在图像分类[5]、对象检测[7]、语义分割[9]等领域得到成功应用[10]。
SNNs的一个内在挑战是基于脉冲的通信方式及其激活函数的非可微性,这对传统的训练方法(如反向传播[11])造成了困难。为了克服这一问题,人们通过将ANN转换为SNN[12]、[13]以及使用替代梯度进行直接训练[8][14]等方法取得了重要进展,其中我们的工作正是利用了后者在减少时间步长和增强结构适应性方面的优势。
受ResNet[15]等架构的残差学习影响,基于卷积的SNNs在各种设计上取得了进展,包括tdBN方法[16]、SEW-Res-SNN[6]和MS-Res-SNN[5]。然而,它们在视觉任务方面的通用性仍有待提高。与此同时,视觉Transformer(ViT)[17]彻底改变了计算机视觉领域,为SNNs超越现有性能极限提供了新的可能性。在这个领域,Spikeformer[18]、Spikformer[19]和Spikingformer[20][21]尤为引人注目。受Spikeformer纯粹事件驱动的设计以及创新的脉冲驱动残差学习和优化策略的启发,我们设计了我们的模型以整合这些创新方法。
在Transformer中,位置编码至关重要,因为自注意力机制具有排列不变性。传统的绝对位置编码(APE)[22]和相对位置编码(RPE)[23]在适应不同输入分辨率方面存在局限性。局部增强位置编码(LePE)[24]和条件位置编码(CPE)[25]提供了更大的灵活性,后者已被集成到基于Transformer的SNNs(如Spikformer)中。然而,其实现会增加参数数量,因此我们优化了CPE的生成过程以提高效率。
我们研究了均匀注意力(UA)和样本间关系对模型性能的影响。我们在模型中引入了样本间均匀注意力,以计算高效的方式增强了模型的能力,而无需额外参数。本文的主要贡献如下:
-
深度卷积位置编码(DCPE): 一种新颖的方法,用于保持平移不变性和自适应的空间位置编码。DCPE通过位置编码生成器(PEG)动态生成,可以轻松集成到当前的深度学习框架中,无需修改现有的基于Transformer的SNN架构。深入分析和实验表明,这种设计显著提升了模型处理时空数据与语义图像特征的能力。
均匀注意力增强(UAA): 这种创新方法利用批量共享学习,通过当前批次中所有样本生成的均匀加权共享范式重新校准单个样本的注意力。该方法有效缓解了对样本内特定局部区域的过度关注或偏见问题,确保了注意力在样本各区域的更平衡和全面的分布,从而提升了学习过程的整体可解释性和泛化能力。
TranSpikformer: 基于DCPE和UAA构建,TranSpikformer的性能优于之前的基于Transformer的SNNs。大量实验表明,TranSpikformer在静态和神经形态数据集上的表现均优于之前的基于Transformer的SNNs。特别是在CIFAR10-DVS上,我们实现了95.9%的准确率,比最高对比模型提高了15%,标志着SNN领域的最新成果。
我们的研究不仅推进了SNN能力的边界,还为基于Transformer的SNNs中位置编码和注意力机制的整合提供了深入见解。在图像分类任务中观察到的改进突显了未来将SNNs应用于更复杂视觉识别任务的潜力。
相关工作
在本节中,我们进行了文献综述,并对基于Transformer的SNN方法、均匀注意力、批量注意力以及Transformer中的位置编码进行了系统和详细的分析。
方法
在这项工作中,我们介绍了TranSpikformer,这是一种新型的脉冲神经网络架构,通过创新地整合空间和注意力机制来提升性能。其核心贡献有两个方面:1)深度卷积位置编码(DCPE),它在不改变基础Transformer结构的情况下提供了动态的、平移不变的空间编码;2)均匀注意力增强(UAA),这是一种非参数机制,用于重新校准注意力。
实验
在本节中,我们评估了所提出方法在神经形态数据集CIFAR10-DVS[42]、DVS128 Gesture[43]、N-Caltech101[44]以及静态数据集CIFAR[45](包括CIFAR10和CIFAR100)上的分类性能。所有数据集的训练-测试划分标准参考了其他已发表的工作(Spikformer[19]、Spikingformer[20]、Enhancing Spikingformer[21]和TCJA-SNN[46]),以确保公平比较。我们还进行了各种消融研究,以了解所提出方法的效果。
结论与未来工作
在本文中,我们介绍了深度卷积位置编码(DCPE),这是一种在基于Transformer的脉冲神经网络(SNNs)中提供位置信息的新方法,它根据每个输入令牌的局部邻居自适应生成空间位置编码。此外,我们提出了均匀注意力增强(UAA),这是一种利用批量共享学习重新校准单个样本注意力的新技术。
CRediT作者贡献声明
邓涛: 写作——审稿与编辑、监督、方法论、概念化。
杨成帆: 写作——审稿与编辑、初稿撰写、软件开发、项目管理、方法论、资金获取、数据整理、概念化。
刘文博: 可视化、数据分析。
赵春宇: 验证、软件开发。
李然: 验证、软件开发。
黄毅: 写作——审稿与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
本工作部分得到了中国国家自然科学基金(项目编号62106208)、四川省自然科学基金(项目编号2025ZNSFSC0471和2023NSFSC1418)、中国博士后科学基金(项目编号2021TQ0272和2021M702715)以及中央高校基本科研业务费(项目编号2682025ZTPY007)的支持。