SAD-SNN：面向高性能脉冲神经网络的空间激活蒸馏

《Sensors》：SAD-SNN: Spatial-Activation Distillation for High-Performance Spiking Neural Networks

　　

脉冲神经网络（SNN）是一种受大脑启发的、事件驱动的网络，正成为人工神经网络（ANN）的一种有前景的节能替代方案。近年来，SNN方法已成功应用于电磁信号处理和图像信号处理领域，特别是在需要低能耗的应用场景中。然而，通过直接训练得到的SNN性能远不令人满意。在本论文中，研究人员研究了一种名为SAD-SNN（面向脉冲神经网络的空间激活蒸馏）的新型学习方法，该方法利用ANN模型指导SNN模型学习。与先前依赖逐元素特征对齐方法的工作不同，SAD-SNN在教师网络和学生网络的不同分辨率下对齐空间激活图。具体来说，研究人员引入了一种直接对齐方法，该方法定义了空间激活损失并归一化ANN和SNN的表示向量，以减轻意外的精度损失。这使得教师ANN的知识能够有效迁移到学生SNN的训练中。在三个图像分类数据集上，所提出的SAD-SNN在无论使用同质还是异质教师ANN的情况下，均优于其他SNN训练方法。此外，研究人员将SAD-SNN应用于电磁信号检测任务，展示了强大的泛化能力和优越的性能。总之，在不同任务和SNN架构上的实验结果表明，该方法是一种通用且有效的解决方案，仅需两个时间步即可显著提升学生SNN的学习效果。

**论文解读：SAD-SNN——基于空间激活蒸馏的高性能脉冲神经网络训练方法**

**研究背景与问题**
脉冲神经网络（SNN）因其生物合理性和事件驱动特性，成为人工神经网络（ANN）的低功耗替代方案，尤其在电磁信号处理和图像信号处理等低能耗场景中展现出潜力。然而，直接训练的SNN在精度上远不及ANN，即使有替代梯度方法（如时空反向传播）的引入，仍面临收敛慢、精度低的问题。知识蒸馏（KD）通过将预训练的高性能ANN作为教师，引导SNN学生学习，成为提升SNN性能的有效策略。但现有基于特征对齐的方法多采用逐元素匹配，忽视了ANN连续浮点特征与SNN离散二进制脉冲之间的表示分布差异，导致蒸馏过程中精度损失。因此，亟需一种能弥合该分布间隙、有效传递跨架构知识的新方法。

**研究内容与结论**
研究人员提出SAD-SNN（Spatial-Activation Distillation for Spiking Neural Networks），一种基于特征蒸馏的框架，通过在不同空间分辨率上对齐教师ANN与学生SNN的空间激活图，实现知识迁移。引入带归一化的空间激活损失，将ANN和SNN的表示向量对齐到统一尺度，无需额外可训练参数，仅需两个时间步即可显著提升学生SNN性能。在CIFAR10、CIFAR100和Tiny ImageNet三个图像分类基准上，无论同质还是异质教师ANN，SAD-SNN均优于现有SNN训练方法，且理论能耗远低于ANN。在电磁信号检测任务（使用合成跳频信号数据集RanFH）上，以YOLOv5 Medium/YOLOv8 Medium为教师、SpikeYOLO为学生，SAD-SNN在mAP@50:95上提升1.68%（YOLOv5教师）和1.54%（YOLOv8教师），并在低信噪比条件下表现更优。该研究发表在《Sensors》。

**主要关键技术方法**
研究人员采用空间激活蒸馏（Spatial-Activation Distillation）方法，核心包括：从教师ANN中提取中间层特征图，对其计算空间激活图（每个通道内特征向量之间的空间相似度）；对学生SNN的特征图先沿时间维度做平均池化以消除时间维度，再计算空间激活图；通过实例级L2归一化将两者表示向量归一化到[0,1]范围，并定义空间激活损失（L_sad）进行对齐。学生SNN采用Leaky Integrate-and-Fire（LIF）或整数LIF（I-LIF）神经元模型，使用阈值依赖的批归一化方法和替代梯度进行直接训练。教师ANN为预训练的ResNet、PyramidNet、WideResNet、YOLOv5 Medium、YOLOv8 Medium等。数据集包括CIFAR10、CIFAR100、Tiny ImageNet以及合成的频率跳变信号数据集RanFH（由研究人员构建，涵盖?12 dB至20 dB信噪比，经STFT生成640×640×3的频谱图，共4220张训练图像和1028张验证图像）。

**研究结果**

**5.2.2 性能比较（图像分类）**
- **从同质ANN学习**：以ResNet19和PyrNet50为学生SNN，使用同结构或相似结构的教师ANN（如ResNet34/19、PyrNet110/50）。SAD-SNN在所有基准上均优于直接训练和其他现有SNN训练方法（如STBP、TSSL-BP、Diet-SNN等），例如在CIFAR100上，学生PyrNet50从基线71.41%提升至76.55%（教师WRN28）。
- **从异质ANN学习**：使用不同架构的教师（如ResNet34、PyrNet110、WRN28）指导PyrNet50和ResNet19学生。在CIFAR100上，学生PyrNet50由WRN28教师指导后达到76.55%，接近教师76.60%；在Tiny ImageNet上，ResNet19学生由PyrNet110指导后从51.51%提升至55.35%。
- **超参数敏感性**：平衡系数λ在100–2000范围内性能稳定，过小或过大会导致性能下降或任务损失干扰。
- **理论能耗计算**：基于45nm硬件架构，以MAC和AC能耗估算，SAD-SNN训练的学生SNN在2时间步下能耗远低于教师ANN（如PyrNet50教师CIFAR100能耗7.32 mJ vs 学生2.95 mJ）。

**5.2.4 蒸馏知识比较**
与基于logits的蒸馏相比，空间激活蒸馏（Spatial-activation KD）在CIFAR10和CIFAR100上一致优于Logits-based KD，尤其在大数据集CIFAR100上提升更明显。

**5.2.5 结合logits蒸馏**
将SAD-SNN与logits蒸馏结合（多级蒸馏），进一步提升了性能，表明空间激活对齐与输出层监督互补。例如在CIFAR100上，学生ResNet19由PyrNet110教师指导时，多级蒸馏达到74.19%，优于单纯SAD-SNN的72.78%。

**5.3.2 电磁信号检测主要结果**
以YOLOv8 Medium为教师、SpikeYOLO为学生（2时间步），SAD-SNN达到mAP@50:95 92.67%，优于直接训练的STBP基线（91.13%）；以YOLOv5 Medium为教师，达到92.48%（基线90.80%）。单时间步下也有提升。

**5.3.3 推理时间与理论能耗**
SAD-SNN训练的模型推理时间与时间步数线性相关（单时间步约7.8–8.1 ms/sample，双时间步约16.1 ms/sample），略高于基线（因权重变化但架构未改）。理论能耗方面，SAD-SNN模型因更高脉冲发放率导致能耗略增（如2时间步下57.39 mJ vs 基线26.38 mJ），但伴随精度提升。

**5.3.4 变信噪比性能**
在?12 dB至20 dB信噪比范围内，SAD-SNN在大多数SNR下优于STBP基线，尤其在低SNR（?12 dB至?2 dB）下提升最显著，说明蒸馏知识有助于学生SNN在强噪声下识别信号模式。

**5.3.5 蒸馏层选择比较**
浅-深混合层对齐（最后两个骨干层加第一个头部层）效果最佳，浅层缺乏语义信息，过深层受任务特异性影响。

**总结与结论**
论文提出SAD-SNN，一种基于特征的知识蒸馏方法，通过空间激活对齐有效弥合ANN与SNN的表示分布差异，仅需两个时间步即可显著提升学生SNN性能。实验覆盖图像分类和电磁信号检测，证明其通用性和有效性。研究结论翻译如下：
“在本工作中，研究人员提出了一种名为SAD-SNN的新型教师-学生学习方法，以利用ANN的全面监督信息指导SNN训练。SAD-SNN是一种基于特征的知识蒸馏方法，保留并传递ANN学习到的空间知识给SNN。具体来说，研究人员引入带归一化操作的空间激活损失，对齐ANN和SNN的表示向量，减轻意外的精度损失。为展示SAD-SNN的有效性，研究人员选择ResNet19和PyrNet50作为学生SNN进行图像分类，SpikeYOLO作为学生进行电磁信号检测。在三个图像分类基准和一个信号检测数据集上，将SAD-SNN与现有SNN训练方法比较。实验结果表明，无论使用同质还是异质教师ANN，所提出的SAD-SNN在仅用两个时间步的情况下，在两个任务上均一致优于其他SNN训练方法。”