LaSNN：基于分层蒸馏的深度脉冲神经网络高效训练方法

本文提出LaSNN框架，通过分层知识蒸馏（ANN-to-SNN）实现脉冲神经网络（SNN）的高效训练。该方法利用注意力机制弥合ANN与SNN的异构差异，以三阶段训练（ANN预训练-SNN初始化-分层蒸馏）显著提升SNN在CIFAR/Tiny ImageNet等数据集上的分类精度（Top-1）与推理速度，同时兼容不同架构/深度与编码方法，为低功耗神经形态计算提供新范式。

　　

亮点

LaSNN首次通过注意力表征桥接人工神经网络（ANN）与脉冲神经网络（SNN）间的信息鸿沟，并创新性地采用分层蒸馏策略。该框架通过三阶段训练流程（教师ANN训练→SNN参数初始化→分层监督蒸馏），使SNN既能继承ANN的精度优势，又保持事件驱动的高能效特性。

方法

LaSNN框架

图1(a)展示了分层ANN-to-SNN知识蒸馏的整体流程。我们首先描述SNN模型，随后详解基于分层监督策略的蒸馏范式，最终分步阐述LaSNN的三阶段训练：

1. 1.

   教师ANN训练：预训练高性能ANN作为知识源

2. 2.

   SNN初始化：通过ANN-to-SNN参数转换构建学生SNN

3. 3.

   分层蒸馏：采用注意力对齐机制，逐层引导SNN模仿ANN的特征响应

数据集与设置

在CIFAR-10、CIFAR-100和Tiny ImageNet上评估LaSNN：

• •

  CIFAR-10：10类32×32 RGB图像，含50k训练/10k测试样本

• •

  CIFAR-100：100类扩展版CIFAR

• •

  Tiny ImageNet：ImageNet子集含200类，每类500训练/50验证图像

结论

本研究通过注意力机制实现跨模型知识迁移，结合分层蒸馏策略与三阶段优化流程，使LaSNN在保持SNN低功耗特性的同时达到ANN级精度。该框架可灵活适配不同网络架构/深度，为深度SNN训练提供通用解决方案。