ReSCom：一种基于随机计算的可重构脉冲神经网络加速器

《Integration》：ReSCom: A reconfigurable spiking neural network accelerator using stochastic computing

　　<摘要与要点>- 一种混合随机–确定性计算框架，用随机单元替换神经元动力学中的乘法运算，同时为状态累加、加法和减法保留精确的定点算术。- 一种统一的可重构神经元架构，在共享的硬件内核中支持IF（积分触发）、LIF（漏积分触发）和突触神经元模型，无需独立的神经元数据通路即可在运行时选择神经元动力学。- 针对三种受支持神经元模型，系统研究了从2位到1024位随机位流长度的精度–能耗权衡，为根据神经元动力学和目标应用选择随机精度提供实用指导。## 引言神经网络已成为解决复杂计算问题不可或缺的工具，涵盖图像识别、自然语言处理、自主控制和感官信号分析[1]。尽管传统人工神经网络（ANN）已取得卓越的性能，但其实现通常需要大量的计算资源和能耗。脉冲神经网络（SNN），常被称为第三代神经网络，已成为神经形态计算领域一项极具前景的替代方案。受生物神经系统启发，SNN通过离散的脉冲而非连续激活来编码和传递信息。借助稀疏的、事件驱动的脉冲活动，SNN可在计算和通信方面提升能效。稀疏的神经元激活可减少不必要的计算，如SpikeX[2]所示。此外，基于脉冲的通信可减少数据搬运并实现更高效的互连，如ChronoSpike[3]所证明的。尽管存在这些优势，SNN的高效硬件实现仍然具有挑战性。LIF和突触神经元等神经元模型需要以乘法为密集的衰减和状态更新运算[4]。当在大型网络中复制时，这些运算会消耗可观的硅面积和功耗，限制了其在资源受限的边缘平台（如可穿戴生物医学设备、神经假体和嵌入式听觉系统）上的部署，这一点在Flexi-NeurA[5]中得到强调。此外，神经元动力学包含递归状态变量，使其行为对数值误差敏感。在单个时间步引入的近似误差会经由后续的状态更新传播，从而降低推理精度。随机计算（SC）通过将数值表示为概率位流提供了一个潜在的解决方案。在这种表示中，乘法等复杂运算可使用简单的逻辑门实现，从而降低与传统二进制乘法器相关的硬件成本[6]。因此，SC已被应用于能效型神经加速器[7]。然而，随机算术会引入近似噪声，而提高其数值精度通常需要更长的位流，导致执行成本和能耗增加[8]。这些特性在随机精度、推理精度和能耗之间造成了固有的权衡。许多SNN硬件研究主要基于MNIST评估其设计。尽管MNIST提供了一个有用且被广泛采用的图像分类基准，但其静态输入结构并不能充分检验SNN的时间处理能力。更全面的评估还应包括事件驱动的工作负载，其中信息被编码在脉冲的时序与演化中。Spiking Heidelberg Digits（SHD）数据集通过700个听觉输入通道上的时间结构化脉冲串来表示语音数字，提供了这样一类工作负载[9]。语音数字识别与低功耗听觉感知、嵌入式语音接口和神经形态音频处理系统相关。因此，在MNIST和SHD上评估所提出的设计，可在静态视觉和时间听觉应用中研究精度权衡。在本文中，我们通过一种混合随机–确定性架构来应对SNN实现的硬件与数值挑战。与可能向递归神经元状态引入大量误差的全随机设计不同，所提出的方法仅对神经元乘法运算应用随机逻辑。加法、减法、累加和状态存储则保留精确的定点算术。这种选择性使用SC的做法降低了乘法器复杂度，同时保护了递归状态更新路径免受过度误差传播的影响。所提出的ReSCom¹架构还包含一个统一的可重构神经元内核，可作为积分触发（IF）、漏积分触发（LIF）或突触神经元运行。运行时模型选择使加速器无需复制完整的神经元数据通路，即可支持具有不同计算与时间特性的神经元动力学。此外，随机位流长度可进行调整，以满足应用特定的精度与能耗需求。本工作的主要贡献总结如下：- 一种混合随机–确定性计算框架，用随机单元替换神经元动力学中的乘法运算，同时为状态累加、加法和减法保留精确的定点算术。- 一种统一的可重构神经元架构，在共享的硬件内核中支持IF、LIF和突触神经元模型，无需独立的神经元数据通路即可在运行时选择神经元动力学。- 针对三种受支持神经元模型，系统研究了从2位到1024位随机位流长度的精度–能耗权衡，为根据神经元动力学和目标应用选择随机精度提供实用指导。本文其余部分组织如下。第2节回顾脉冲神经网络、随机计算和随机数生成。第3节介绍所提出的ReSCom架构，包括其可重构神经元内核和随机乘法器。第4节描述FPGA实现，并在MNIST和SHD上评估硬件成本、推理精度和位流精度权衡。最后，第5节总结全文并展望未来工作方向。## 各节摘录### 脉冲神经网络神经网络在能耗受限应用（如自主系统和机器人）中日益广泛的应用，加剧了人们对功耗的关注。脉冲神经网络（SNN）通过采用受生物神经系统启发的事件驱动计算，成为传统神经网络的有前景的替代方案[10]。通过稀疏的基于脉冲的通信运行，与始终激活的架构相比，SNN可显著降低能耗。### 设计目标与架构依据所提出的ReSCom架构的动机源于对面向SNN的能效与灵活硬件加速器日益增长的需求，尤其是在资源受限的边缘计算平台上。尽管SNN本质上提供了稀疏的、事件驱动的计算，但由于神经元运算的高计算成本以及神经元动力学对数值近似误差的敏感性，其实用硬件实现仍具挑战性。本工作由三个主要设计目标引导。### 结果本节从以下方面评估所提出的ReSCom加速器：(i) 硬件成本与功耗，(ii) 推理精度，以及 (iii) 不同随机位流长度下的精度–能耗权衡。### 结论本文提出了ReSCom——一种可重构FPGA加速器，它将随机乘法与精确的定点算术相结合，以实现能效且稳定的SNN推理。所提出的统一神经元内核无需独立的硬件实现即可支持IF、LIF和突触模型，而可配置的随机位流长度则实现了依应用而定的精度–能耗权衡。ReSCom在MNIST图像分类以及时间上的……（原文截断）## 利益冲突声明作者声明，他们不存在可能影响本论文所报告工作的、已知的竞争性财务利益或人际关系。Ali Alipour Fereidani｜Mohammad Rasoul Roshanshah｜Saeed Safari