SpikeLoRA:基于脉冲神经网络的低秩自适应算法,具有较高的能效

《Neurocomputing》:SpikeLoRA: Power-efficient low-rank adaptation based on spiking neural network

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  谭然|詹秋刚|丁芳毅|刘贵松|谢秀瑞|唐华金 中国四川省成都市温江区六台路555号,西南财经大学计算与人工智能学院新金融与经济复杂实验室,邮编611130 **摘要** 参数高效微调(PEFT)通过仅使用有限数量的可训练参数来适应预训练模型以完成下游任务,因此受到了

  谭然|詹秋刚|丁芳毅|刘贵松|谢秀瑞|唐华金
中国四川省成都市温江区六台路555号,西南财经大学计算与人工智能学院新金融与经济复杂实验室,邮编611130

**摘要**
参数高效微调(PEFT)通过仅使用有限数量的可训练参数来适应预训练模型以完成下游任务,因此受到了广泛关注。现有的PEFT方法主要基于人工神经网络(ANNs),但这些方法通常会带来较高的计算成本,从而限制了它们在资源受限场景中的应用。相比之下,脉冲神经网络(SNNs)作为神经计算领域的一个代表性范式,利用稀疏激活和事件驱动的操作提供了一种有前景的低功耗替代方案。为了利用这些优势,我们提出了SpikeLoRA,这是一种结合了脉冲驱动处理的新型微调方法,以提高能效。为了解决SNNs与ANNs之间的参数更新差异,我们进一步引入了一种专用的初始化策略,该策略通过知识蒸馏将SpikeLoRA的低秩矩阵与预训练表示对齐,有效地将SNN微调与ANN的先验知识相结合。大量实验表明,SpikeLoRA的性能可与标准LoRA及其变体相媲美甚至更优,同时显著降低了功耗。与LoRA相比,SpikeLoRA在GLUE任务上的功耗降低了35%,而平均性能仅下降了0.08%。在Wikipedia数据集上,使用更大的Llama-3.1-8B模型时,SpikeLoRA的平均性能提高了2.07%。此外,SpikeLoRA还表现出更强的鲁棒性,在AdvGLUE任务上的表现平均优于LoRA 6.27%。据我们所知,这是首个成功将SNN的能效和鲁棒性融入到ANN语言模型微调中的LoRA变体。

**引言**
参数高效微调(PEFT)方法[1]、[2]、[3]、[4]的出现,使得预训练的大型语言模型(LLMs)在自然语言处理(NLP)的各种下游任务中表现出色。PEFT方法通过冻结原始权重并仅引入或优化少量可训练参数来适应下游任务。其中,低秩适应(LoRA)[2]是最广泛使用的PEFT方法之一,它通过低秩矩阵分解引入了少量额外参数,实现了与完全微调相当的性能。
得益于PEFT的轻量级特性,先前的研究[5]、[6]探索了在资源受限场景下对大型模型进行微调的方法,其中边缘设备使用私有数据对预训练模型进行微调。然而,这些方法需要在边缘设备上部署冻结的骨干模型,从而导致不可忽视的计算和能源开销。受到无需完整模型即可进行迁移学习的离线训练范式的启发[7],最近的研究提出了一种无需完整模型访问的本地微调框架。在这种设置中,完整模型保存在中央服务器上,而边缘设备仅执行轻量级的PEFT方法[8]、[9]。
然而,由于传统人工神经网络(ANNs)巨大的计算和能源成本[10]、[11]、[12],PEFT方法仍然需要较高的硬件要求[10]、[11]、[12],这使得在资源有限的设备上微调LLMs变得极其具有挑战性。作为第三代神经网络,SNNs展示了独特的时间信息处理能力和高度的生物学合理性[13]、[14]、[15]、[16]。与依赖连续数值的ANNs不同,SNNs通过传递二进制脉冲来传输信息,从而实现无需乘法的高稀疏计算[17]、[18]、[19]、[20]。这一特性在低功耗方面具有明显优势,尤其是在部署在神经形态芯片上时。
具体而言,SNNs的二进制脉冲通信范式自然匹配了神经形态芯片的特性,通过稀疏累积而不是昂贵的浮点乘法实现高效的硬件实现。例如,与传统的计算芯片相比,受大脑启发的TrueNorth[21]和Darwin[22]芯片的功耗低两个数量级以上。部署在Loihi芯片[23]上的SNNs在MNIST数字识别任务上的学习速度比以前的方法快100倍。Tianjic[24]可以支持多个SNN模型,并以极低的能耗完成各种计算任务。此外,关于在现场可编程门阵列(FPGAs)上部署大规模SNN模型的研究提供了多种低功耗、高性能的硬件实现方法[25]、[26]、[27]、[28]。因此,基于SNN的PEFT方法在边缘场景中具有显著的部署优势,特别是对于资源受限的智能设备。
尽管SNNs在资源受限应用中取得了成功[29]、[30]、[31]、[32],但将它们纳入PEFT框架受到一个根本性挑战的阻碍:参数更新差异。这个问题源于ANNs和SNNs之间的信息编码和传输机制差异,导致两种架构之间的参数更新轨迹不同。因此,在使用SNNs对基于ANN的模型进行微调的关键初始阶段,很难实现有效的参数分布对齐。换句话说,传统的初始化策略往往不足以提高SNNs在预训练ANN模型上的微调性能。
为了解决这一挑战,我们提出了基于SNNs的SpikeLoRA,这是一种针对语言模型的高效微调方法,采用了低秩适应机制。具体来说,SpikeLoRA利用LoRA的参数结构构建了一个基于SNN的微调网络,结合了SNNs的能效和LoRA的参数效率。在微调过程中,预训练模型的输出被时间复制以构建SpikeLoRA的输入脉冲序列,如图1所示。此外,为了减轻SNNs与ANNs之间参数更新差异的影响,我们为SpikeLoRA设计了一种新的初始化方法,通过从全权重模型中提取知识来提高微调性能。

**实验**
我们在自然语言理解(NLU)和自然语言生成(NLG)任务上使用多种语言模型对SpikeLoRA进行了广泛评估。例如,在GLUE基准测试中,SpikeLoRA在三种基础模型(RoBERTabase、RoBERTalarge和DeBERTaV3base)上的平均得分达到了86.75%,超过了完全微调的85.67%。与LoRA相比,SpikeLoRA的功耗降低了35%,同时保持了相当的性能。在使用更大的Llama-3.1-8B模型时,SpikeLoRA在Wikipedia数据集上的性能提高了18.62%。此外,我们还进行了对抗性鲁棒性测试、功耗比较和消融研究,以分析SpikeLoRA的有效性和优势。总之,我们的主要贡献包括:
- 我们提出了SpikeLoRA,这是一种成功将脉冲机制与LoRA结构结合的PEFT方法,实现了高微调性能,同时保持了极低的功耗。
- 我们设计了一种新的SpikeLoRA初始化方法,通过从全权重模型中提取显式知识来提高微调性能。
- 我们通过广泛的分类和生成基准测试以及对抗性数据集验证了SpikeLoRA。结果表明,SpikeLoRA的性能可与当前最先进的方法相媲美,同时显著降低了功耗。

**方法**
本节首先回顾了在ANNs中常用的经典LoRA,并分析了为什么LoRA的初始化不适合SNNs。然后,在第3.2节中介绍了专门为脉冲微调设计的SpikeLoRA。第3.3节提出了一种针对SpikeLoRA的新型初始化方法,引入了知识蒸馏机制,以在微调开始时对齐预训练模型和SpikeLoRA之间的知识。此外,第3.4节提供了理论分析。

**实验**
在本节中,我们通过一系列已建立的基准测试对提出的SpikeLoRA的有效性进行了广泛实验。详细的评估和分析旨在全面了解其性能。为了确保可重复性,代码和训练超参数将公开发布。

**结论**
本文提出了基于SNNs的低功耗微调框架SpikeLoRA。SpikeLoRA将SNNs与LoRA的低秩适应技术相结合,利用脉冲神经元的稀疏激活显著降低了功耗。为了进一步提高性能,我们引入了一种基于知识蒸馏的初始化策略,将预训练模型中嵌入的丰富先验知识转移过来。具体来说,为SpikeLoRA构建了一个初始权重矩阵。

**作者贡献声明**
谭然:撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析。
詹秋刚:撰写——审阅与编辑、可视化、验证、监督、调查、数据管理。
丁芳毅:撰写——审阅与编辑、撰写——原始草稿、监督、软件、方法论、形式分析、数据管理。
刘贵松:撰写——审阅与编辑、监督、资源管理、项目协调、资金支持。

**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了中国国家自然科学基金(NSFC)项目62376228、四川省自然科学基金项目2026NSFSC1468、成都市科技计划项目2025-YF12-00009-RC、中央高校基本科研业务费项目JBK202511077、四川省网络与数据安全重点实验室开放项目2026NDSF002的支持。

**作者简介**
谭然于2020年在中国重庆的西南大学获得学士学位,2021年在新西兰奥克兰大学获得硕士学位,目前正在西南财经大学计算与人工智能学院攻读博士学位。他的研究兴趣包括联邦学习、大型语言模型微调和脉冲神经网络。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号