《Neurocomputing》:High-performance image classification via spiking vision transformer and an improved AA-LRSA attention mechanism
编辑推荐:
作者:杨祖民(Zuomin Yang)、安尼斯·萨尔瓦·莫赫德·凯鲁丁(Anis Salwa Mohd Khairuddin)、黄睿茹(Wei Ru Wong)、黄俊超(Joon Huang Chuah)、哈菲兹·穆罕默德·法哈德·诺曼(Hafiz Muhammad Fahad
作者:杨祖民(Zuomin Yang)、安尼斯·萨尔瓦·莫赫德·凯鲁丁(Anis Salwa Mohd Khairuddin)、黄睿茹(Wei Ru Wong)、黄俊超(Joon Huang Chuah)、哈菲兹·穆罕默德·法哈德·诺曼(Hafiz Muhammad Fahad Noman)、特里·瓦希尤·奥克塔维亚娜·普特里(Tri Wahyu Oktaviana Putri)
马来西亚古晋玛拉亚大学工程学院电气工程系,邮编50603
摘要
深度神经网络在计算机视觉领域取得了显著进展。然而,计算复杂性逐渐成为限制人工智能模型进一步应用的关键瓶颈。由于脉冲神经网络(Spiking Neural Networks, SNNs)具有基于事件驱动和计算稀疏的特征,它们被视为构建低功耗智能计算系统的重要方法。本文提出了一种基于脉冲的Transformer框架(SpkFormer),将Leaky Integrate-and-Fire(LIF)神经模型集成到Transformer结构中,以实现基于事件的稀疏信息处理和高性能计算。该模型的主要特性包括自注意力机制、低秩降维的稀疏加法替代脉冲矩阵乘法或简单加法,在二进制脉冲通信机制中,标签和通道维度均实现了线性计算复杂性。为了实现这些特性,本文提出了一种新型的加法感知低秩自注意力机制(AA-LRSA)。该机制在保持表示能力的同时消除了自注意力中的乘法操作,相比传统的Transformer注意力机制降低了复杂性。此外,为了确保网络中所有神经元的脉冲表达,仍使用了Transformer的残差连接,从而使激活信号在传播过程中完全符合二进制脉冲的特性。在ImageNet-1K数据集上的实验结果表明,所提出的SpkFormer模型的Top-1准确率为77.76%,优于现有“基于脉冲的Transformer”研究中的77.1%。此外,该模型在CIFAR-10、CIFAR-100、SVHN、CIFAR-10 DVS、DVS128Gesture和Stanford Cars(Cars196)数据集上表现出更高的效率和泛化性能,验证了所提出方法在计算机视觉领域的潜力和可行性。
引言
近年来,神经网络模型和算法被用于自动驾驶中的图像分类和目标检测 [1]、[2]、[3]。然而,这需要微调神经网络架构或算法以实现最佳性能,并且还需考虑计算成本 [4]、[5]。复杂的神经网络架构和算法可以在一定程度上实现更高的性能,但它们也面临着较高的计算复杂性 [6]。此外,神经网络模型和算法在不同数据集规模和类别数量的情况下性能会受到影响 [7]。使用复杂的数据集时,对神经网络提取图像特征和计算成本的要求更高 [8]。
此外,这些神经网络架构往往也比较僵硬,整个架构和算法的开发和应用也受到限制 [9]、[10]、[11]。在自动驾驶中,持续适应动态环境以及识别车辆或行人对于提高效率至关重要 [12]。由于新对象的特征分布可能与现有类别不同,模型可能会面临类别不平衡和边界框偏移等挑战。因此,为了实现高效的目标识别,有必要结合其他更接近生物神经系统原理的机制或方法。新的方法是将受生物启发的脉冲泄漏机制与现有的Transformer结构相结合以实现这一目标 [13]、[14]。本文的主要贡献包括:
•将LIF模型与现有Transformer架构结合,形成脉冲神经网络架构。
•在自注意力模块中改进现有方法,提高计算效率,并提出了一种低秩降维方法(AA-LRSA),降低计算复杂性。
•与其他神经网络架构和算法相比,我们的方法保留了脉冲神经网络结构的基本特性;同时在不影响性能的情况下,进一步在自注意力模块中实现了低秩降维,简化了计算复杂性,使神经网络架构和算法更加灵活,更接近生物启发式神经网络的原理。
章节摘录
代表性工作
近年来,深度学习特别是Transformer架构在计算机视觉任务中取得了显著进展 [15]。传统方法(如卷积神经网络CNN)在模拟局部空间结构方面表现出色。而Transformer凭借其自注意力机制能够捕捉长距离依赖关系,从而大大提高了全局建模能力 [16]。然而,当前主流方法在语义建模方面仍存在不足。
提出的脉冲视觉Transformer(ViT)概述
SNNs是神经形态计算的关键研究方向,能够有效模拟生物神经系统的时序动态和稀疏激活机制 [51]。与ANN不同,SNN通过时序编码和基于事件的计算来实现信息传输和处理。这种计算范式不仅在计算效率上更接近生物神经系统的运作方式,还为构建新的计算模型提供了理论基础
比较研究
**在CIFAR-10、CIFAR-100和SVHN数据集上的比较结果。**表1显示了所提出的AA-LRSA与现有ANN和SNN方法在CIFAR-10、CIFAR-100和SVHN数据集上的性能比较。所提出的模型具有竞争力,甚至在SVHN数据集上优势显著。
基于Transformer的ANN模型(如Transformer-4-384)在CIFAR-10和CIFAR-100上的准确率相对较高(分别为96.73%和81.02%)
限制与挑战
尽管所提出的AA-LRSA在性能和能效 trade-offs 方面显示出显著优势,但仍存在一些需要进一步研究的局限性。
首先,AA-LRSA依赖于低秩假设来降低计算复杂性。然而,表6中的实验结果表明,在参数稀疏度固定时,随着排名参数的增加,模型性能呈非单调变化。
结论
本文提出了一种基于脉冲的Transformer框架——SpkFormer。通过将LIF神经元模型和改进的AA-LRSA引入Transformer,实现了基于事件驱动、计算稀疏且高效的学习模型。与现有的依赖自注意力的查询键值乘法不同,AA-LRSA用掩码引导的低秩加法替代了乘法,从而显著降低了算术操作的强度和能耗,同时保持了表示能力
杨祖民(Zuomin Yang):写作 – 审稿与编辑、原始稿撰写、可视化、验证、软件开发、方法论研究、数据分析、概念化。安尼斯·萨尔瓦·莫赫德·凯鲁丁(Anis Salwa Mohd Khairuddin):写作 – 审稿与编辑、项目监督、方法论研究、资金筹集、数据分析。黄睿茹(Wei Ru Wong):写作 – 审稿与编辑、项目监督、方法论研究。黄俊超(Joon Huang Chuah):写作 – 审稿与编辑、项目监督、方法论研究。哈菲兹·穆罕默德·法哈德(Hafiz Muhammad Fahad):
作者声明他们没有已知的竞争性财务利益或可能影响本文工作的个人关系。
杨祖民 2016年获得中国山东大学的机电工程学士学位,2020年获得青岛科技大学的机械工程(机器人技术)硕士学位。他目前正在马来西亚玛拉亚大学工程学院电气工程系攻读博士学位。他的研究兴趣包括神经网络、计算机视觉、持续学习等