基于硬件的脉冲神经网络能效与量化折衷分析

《IEEE Journal on Selected Areas in Information Theory》：A Hardware-Aware Analysis of Energy Efficiency and Quantization trade-offs in Spiking Neural Networks

　　

摘要：

脉冲神经网络是一种极具前景的受生物启发的神经网络模型，近年来越来越受到关注。脉冲神经网络基于事件驱动的通信机制，能够在专用的类脑硬件上实现低密度且理论上能耗较低的运算。然而，瞬时脉冲的二进制特性也会导致大量信息丢失，从而降低性能。为了解决这一问题，人们提出了多级脉冲神经元模型，这类模型在接近全精度人工神经网络性能的同时，还能实现较低的量化误差和最小的推理延迟。在本文中，我们针对图像分类和图像去噪两种应用场景，深入分析了二进制脉冲神经网络、多级脉冲神经网络与人工神经网络在量化、泛化性能以及能效之间的不同权衡关系。我们的目标是确定脉冲神经网络活动的分析阈值，以此了解在何种情况下脉冲神经网络比人工神经网络更具能效，同时也能解释为何在其他情况下脉冲神经网络无法带来能效提升。我们的分析基于一种硬件执行模型，该模型允许我们考虑与突触运算及内存访问相关的能耗。实验结果表明，多级脉冲神经元能够实现更好的信息压缩，因此在保持分类任务性能不变的情况下降低延迟。在图像分类场景中，与二进制脉冲神经网络相比，多级脉冲神经网络可根据量化区间数量将能耗降低2到3倍。在类脑数据处理中，多级脉冲神经网络可将推理延迟大幅降低到1个时间步，这一压缩比例是此前关于二进制脉冲神经网络研究结果的10倍。不过在图像去噪任务中，无论是二进制脉冲神经网络还是多级脉冲神经网络……

显示更多