基于三值非极性神经元的内存计算兼容型ANN-SNN转换

《Neurocomputing》：Compute-in-memory compatible ANN-SNN conversion via ternary nonpolar neuron

　　摘要
将预训练的人工神经网络转换为脉冲神经网络，是实现高效类脑推理的常见策略。然而，现有方法往往受限于传统基于ReLU激活函数的速率编码方式所带来的高延迟问题，而其他转换方法则需大量先验知识及高昂的计算成本。为克服这些限制，我们提出了一种基于非极性神经元的三进制脉冲神经网络框架。该方法利用双极性脉冲，并充分利用脉冲神经网络的时间动态特性，从而高效转换任意激活函数，同时仅带来微小的精度损失，便能显著提升推理速度。此外，我们还为该算法设计了专用电路，并将其集成到计算在内存中架构中，这使得多种激活函数可直接在电路层面实现，得益于双极性三进制脉冲的固有补偿特性，该方案具备出色的鲁棒性。我们的工作证明了硬件与软件协同设计在连接高精度深度学习与高效类脑硬件之间的重要作用。

引言
脉冲神经网络作为第三代神经网络，因其符合生物机制的特性以及丰富的时间动态特性而备受关注。与依赖连续值激活函数的传统人工神经网络不同，脉冲神经网络中的神经元通过离散的脉冲来传递信息。由于这种事件驱动的特性，脉冲神经网络在无输入刺激时处于静默状态，从而避免了冗余计算。因此，脉冲神经网络成为能源受限的边缘应用领域的理想选择，尤其是在基于计算在内存中等新兴硬件架构上实现时。尽管具有这些优势，但要在大规模神经网络中有效应用脉冲神经网络，仍需高效的优化方法。直接训练作为一种简单可行的解决方案，可通过端到端的框架直接在脉冲域对脉冲神经网络进行优化，从而让脉冲神经网络能够充分利用其时间动态和事件驱动特性。因此，直接训练在改善脉冲神经网络的精度与延迟平衡方面展现出巨大潜力。然而，由于脉冲函数不可微、梯度爆炸和梯度消失等问题，直接训练大规模脉冲神经网络仍然面临挑战。实际上，这种方法往往需要针对脉冲神经网络进行专门的架构设计、基于替代梯度的时间反向传播，以及大量的训练资源。此外，由于模型是在脉冲域直接优化的，因此很难直接沿用成熟的人工神经网络结构、预训练权重以及不断发展的人工神经网络设计理念。

鉴于人工神经网络技术的相对成熟，将离线预训练的人工神经网络转换为脉冲神经网络以用于推理，已成为一种极具前景且高效的替代方案。与直接训练相比，这种转换方法使得预训练的人工神经网络模型能够被重复使用，其积累的算法优势也能在几乎无需重新训练或校准的情况下转移到类脑硬件上。这对于那些需要部署大规模神经网络但从头开始训练专用脉冲神经网络成本过高或不便的场景而言，具有极大的吸引力。然而，现有的人工神经网络到脉冲神经网络的转换方法存在显著的效率与表达能力瓶颈。当前主流方法主要采用速率编码，将连续值的人工神经网络激活函数映射为脉冲发射率，从而忽略了脉冲序列中蕴含的丰富时间信息。这种编码方式需要极大的时间窗口才能获得满意的精度，从而导致严重的延迟和能耗问题。此外，典型的脉冲生成机制产生的均为非负值的二进制脉冲。这种单向的脉冲行为带来了两个关键限制：一方面，它迫使系统中的拟合轨迹随时间单调递增，使得系统根本无法弥补瞬态误差或噪声引起的超调现象；另一方面，可表示的激活空间被限制在非负值范围内，这导致只有修正线性单元架构才能实现成功转换，进而阻碍了那些需要符号输出的更复杂、现代激活函数的应用。虽然已有部分算法尝试将脉冲神经网络扩展到非仅基于ReLU的架构，但其在硬件部署方面仍存在较大差距。这些方法缺乏高效的硬件对应方案，主要是因为其复杂的算法逻辑会导致过高的电路开销，因此在边缘场景中实现这些方案往往成本过高。

为突破现有的算法限制，弥合复杂神经模型与高效硬件实现之间的差距，我们提出了一种硬件与算法协同设计的框架——基于非极性神经元的三进制脉冲神经网络。在算法层面，NT-SNN通过引入非极性神经元，利用双极性脉冲来编码符号信息，从而克服了单极性转换的结构限制，提升了编码密度，同时能够原生支持多种复杂的非线性激活函数。在硬件层面，传统的模拟脉冲神经网络-计算在内存中宏结构本质上仅限于简单的电荷或电流积累以实现积分-触发-重置动态过程，这种硬件结构的刚性严重限制了各种复杂激活函数的实现。为在芯片上实现我们设计的先进算法动态特性，我们在计算在内存中架构中嵌入了专用的非极性神经元电路。该设计凭借双极性脉冲的固有补偿能力，具备出色的抗硬件非理想性能力，从而确保了复杂功能的稳健性、表达能力及可管理性，便于在芯片上高效实现。

本文的其余结构如下：第2节介绍传统的人工神经网络到脉冲神经网络的转换方法，并分析其理论瓶颈；第3节介绍所提出的NT-SNN框架，并进行全面的神经网络仿真；第4节阐述硬件实现方案，详细说明集成在计算在内存中架构中的专用非极性神经元电路，并提供电路级仿真及深入分析；第5节综述相关研究；第6节探讨适用部署场景及其与专用脉冲神经网络-计算在内存中加速器的关系；最后，第7节给出结论。

章节节选
初步分析
在本节中，我们分析了传统人工神经网络到脉冲神经网络转换方法的理论基础及固有局限。首先介绍了构成当前脉冲神经网络基础的基本神经元模型及标准映射机制。在此基础上，我们分析了现有方法在表达能力和效率方面的关键瓶颈，以及当前脉冲神经网络-计算在内存中架构存在的结构限制。同时，我们也明确了我们的研究方向。

非极性神经元
NT-SNN由非极性神经元及其关联的突触组成，这些神经元保持了原始人工神经网络的网络拓扑结构和突触权重。不过，与传统神经元模型中固定的积分、触发和重置模式不同，非极性神经元的动态特性由预训练参数决定，其中代表阈值电压，表示膜电位更新的幅度，而则用于脉冲加权。

NT-SNN在计算在内存中架构中的应用
基于非极性神经元在人工神经网络到脉冲神经网络转换中支持多种激活函数的能力，我们进一步验证了其在硬件上的可行性。通过将专用非极性神经元电路嵌入计算在内存中架构中，我们实现了硬件层面的神经网络转换。

相关研究
近期的一些人工神经网络到脉冲神经网络转换及基于脉冲的学习方法从不同角度探索了带符号的、双极性的或时间编码的脉冲表示形式。SNM方法利用带符号的脉冲来减少异步传输错误，但它主要适用于基于ReLU的转换。CaLIF方法通过双极性脉冲来提高量化ReLU函数的近似效果，但其转换机制仍与量化ReLU表示密切相关。FS方法则引入了少量脉冲的表示方式。

讨论
非极性神经元在计算在内存中推理流程的特定阶段发挥作用，其优势取决于具体的部署场景。在传统的人工神经网络-计算在内存中流程中，首先在存储阵列中进行模拟积累，随后进行模数转换、数字处理，最后通过查表来确定非线性激活函数的值。这些读出和激活步骤占据了相当大的额外成本，尤其是对于ReLU之外的激活函数而言。NT-SNN-计算在内存中架构则取代了这一读出和激活过程。

结论
在本项工作中，我们提出了一种硬件与算法协同设计的框架——基于非极性神经元的三进制脉冲神经网络，旨在弥合高精度深度学习模型与高效类脑硬件之间的差距。通过从单极性脉冲编码彻底转向三进制脉冲编码，我们的双极性机制从根本上克服了传统人工神经网络到脉冲神经网络转换方法所存在的结构瓶颈及不可逆的超调问题。这种增强的表示能力使得……

作者贡献声明
傅嘉伟：写作——审稿与编辑、写作——初稿撰写、可视化、软件、方法论、形式分析、数据整理、概念构思。张大友：写作——审稿与编辑、可视化、方法论、数据整理、概念构思。陈志瑞：写作——审稿与编辑、可视化、数据整理。文新宇：概念构思。苗向水：监督、资金获取。何玉辉：监督、资金获取、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。傅嘉伟目前是华中科技大学集成电路学院的博士生，研究兴趣集中在类脑计算、神经网络以及计算在内存中技术领域。

傅嘉伟|张大友|陈志瑞|文新宇|苗向水|何玉辉
华中科技大学集成电路学院，中国湖北武汉，430074