《Electronics》：Design and Verification of Adaptive LIF Neurons: From Single-Neuron Dynamics to Multi-Neuron Spiking Networks
编辑推荐：
脉冲神经网络(SNN)通过模拟生物神经元的事件驱动计算，为实现超低功耗人工智能推理提供了一条有前景的路径。然而，两个挑战限制了其实际部署。第一，固定参数的泄漏积分发放(Leaky Integrate-and-Fire, LIF)神经元缺乏在生物学中观察到的适应
脉冲神经网络(SNN)通过模拟生物神经元的事件驱动计算，为实现超低功耗人工智能推理提供了一条有前景的路径。然而，两个挑战限制了其实际部署。第一，固定参数的泄漏积分发放(Leaky Integrate-and-Fire, LIF)神经元缺乏在生物学中观察到的适应机制，即神经元的兴奋性会基于其放电历史进行调节。第二，从单神经元扩展到多神经元网络带来了在孤立设计中不存在的突触权重分配和神经元间脉冲路由挑战。本文通过在三个架构尺度上对自适应LIF神经元进行扩展、验证和物理实现来解决上述两个问题。在Lin的一阶自适应LIF神经元（先前作为Tiny Tapeout宏单元开发）的基础上，本研究贡献了一个具有两级突触滤波以丰富时间动态的二阶神经元；一个具有可配置权重（100至5）的全连接六神经元脉冲网络，展示了基于权重的神经元间通信；以及一种能够逐周期观测所有内部状态的直接验证方法。所有设计均面向赛德(S Selected Area Electron Diffraction, SAED) 14纳米互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor, CMOS)工艺，以1GHz频率进行综合，并在脉冲电流激励（振幅80，刺激间隔(Inter-Stimulus Interval, ISI) = 3）下使用基于Cocotb的Python测试平台进行验证。结果表明，适应机制有效调节了放电：二阶神经元的放电抑制率为31%（25次 vs. 36次），网络中突触后放电减少率为31%（18次 vs. 26次）。在物理层面，二阶神经元比一阶基线多消耗1.77倍面积和1.52倍功耗，而六神经元网络则展示了近线性扩展（5.7倍面积，5.3倍功耗）。本文还记录了包括测试平台连通性、定点溢出和Verilog表达式宽度语义在内的七个验证错误。
在神经形态工程领域，生物大脑与传统计算架构之间的能效差距，长久以来驱动着该领域的研究。现代深度学习框架虽可实现每秒数百太拉浮点运算，但功耗却远超人脑所需的20瓦。脉冲神经网络(SNN)通过将信息表示为不连续、异步的电脉冲（类似于生物动作电位）来弥合这一差距。由于计算是事件驱动的，SNN硬件在空闲期间功耗极低，非常适合物联网(IoT)中的常开边缘传感应用以及基于事件的视觉平台。在物理硬件实现方面，包括忆阻器、磁性隧道结(MTJ)、浮栅晶体管和铁电场效应管在内的新兴设备，通过物理状态变化在材料层面原生模拟生物可塑性，提供了高集成密度、模拟权重调谐和低能耗状态转换等优势。然而，这些新兴设备常面临器件间差异、制造良率以及与外围控制逻辑集成复杂等挑战。相比之下，数字CMOS集成电路凭借其高噪声容限、确定性执行以及与成熟商业代工工艺的兼容性，仍是可扩展、短期可部署神经形态硬件的主要基础。Intel的Loihi和IBM的TrueNorth等大规模数字处理器已证明了该方法的可行性。在数字CMOS实现中，泄漏积分发放(LIF)模型是神经形态硬件中最广泛使用的神经元动力学抽象，它捕获了电荷积分、被动膜泄漏、阈值触发发放和发放后复位等基本神经元行为，同时在大规模实现中保持计算效率。然而，经典固定参数的LIF模型并未捕捉到生物神经元中观察到的适应机制，即神经元的兴奋性会根据放电历史而改变。此外，从单个神经元扩展到多神经元网络还引入了突触权重分配和神经元间基于脉冲的通信等额外挑战。
本研究在Lin的一阶自适应LIF神经元基础上展开，该神经元引入了自适应阈值和自适应beta机制。本研究的贡献有三方面：第一，通过引入具有独立衰减动力学的突触电流状态变量，开发了二阶LIF神经元，在量化额外状态变量的硬件开销的同时，丰富了时间动态特性。第二，实现了一个全连接的六神经元网络，其中一个输入神经元(N0)通过软件可配置的突触权重(100, 30, 15, 10, 5)驱动五个突触后神经元(N1至N5)，展示了基于脉冲的神经元间通信。第三，采用直接接口验证方法，用逐周期监测内部状态替代TinyTapeout I/O封装，实现了对膜电位、突触电流、自适应阈值、自适应beta及全部六个神经元脉冲输出的同步观察。所有设计均使用基于Cocotb的Python测试平台验证，并通过完整的专用集成电路(ASIC)流程综合至SAED 14nm技术，目标频率为1GHz。
研究人员用于开展研究的主要关键技术方法包括：在架构设计上，采用8位定点算术实现神经动力学，以1/256的隐式缩放替代浮点单元；在验证方法上，使用Cocotb(Python coroutine测试平台框架)驱动Icarus Verilog仿真，对所有内部状态进行逐周期监测；在物理实现上，采用Synopsys Design Compiler进行逻辑综合，Synopsys ICC2进行物理设计，包括布局规划、电源网格创建、时钟树综合与信号布线，目标工艺为SAED 14nm教育套件，标称电压0.8V，慢慢(SS)工艺角。
实验结果与分析如下：
一阶神经元功能验证：表2总结了一阶LIF神经元在五种测试下的结果。在适应机制启用时(测试1和2)，神经元分别发放14次和13次，略高于12次的基线发放次数(测试4)。ISI分析确认适应机制活跃：测试1的ISI在脉冲序列中从5个周期增长到6个周期，而测试4保持恒定ISI为6。测试3(beta适应)产生与测试4(双机制关闭)相同的行为，表明在该脉冲速率下，单独beta适应对一阶模型的发放模式影响可忽略。测试5(速率编码)显示慢、中、快速率下分别产生5次、7次和7次发放，中快速率饱和于7次，表明一阶神经元在ISI=2时达到最大发放率。
二阶神经元功能验证：表3总结了三阶LIF神经元结果。适应机制将发放抑制了31%：双机制启用时(测试1)神经元发放25次，而无适应(测试4)时发放36次。这11次发放减少证明了有效的自我调节：上升的阈值和加速的衰减共同降低了兴奋性。ISI在前几个脉冲内从2个周期增长至3个周期，随后当阈值接近220-250的硬件上限时趋于稳定。仅beta适应无效果：测试3产生36次发放，与测试4相同，证实了此前发现。更高输入速率产生更多发放：测试5产生8次、10次和11次发放。由于突触电流初期充电慢，前三个脉冲才产生首次发放，但此后因突触电流已稳定在高值，仅需下一个脉冲即可产生后续发放。
网络功能验证：表4总结了网络结果。一对一测试展现了成功的神经元间脉冲传输：N0发放16次，通过W=100权重驱动N1发放20次。由于积累的突触电荷逐渐泄漏并持续放电至N1膜电位，N1在余辉阶段额外发放，而非严格的1:1锁定。扇出快照显示所有五个L1神经元在N0发放瞬间具有相同突触值(syn=64)，这反映权重电流注入后突触寄存器尚未更新，需在下一周期读取才能捕获权重差异化值。强弱突触比较中N1(W=100)和N5(W=5)各发放0次，VCD分析表明N1在脉冲(P)周期发放，测试读取状态时膜电位已复位，这属于测试平台采样伪影。速率编码测试确认高级别输入产生更多发放，当ISI收紧时突触电流迅速积累，产生明显更多的发放。自适应通信测试展示最重要结果：适应机制将N1发放从26次抑制至18次(31%降低)，确认了自适应机制在多神经元上下文和脉冲权重通信中的正确运作。参数扫描实验暴露了8位定点动态范围的局限：在最大驱动下N2发放从11次降至6次，产生了逆速率编码效应，这归因于膜电位在第五个脉冲时达到数值上限255并被钳位，截断了时间衰减动力学，表明需将寄存器扩展至16位。
一阶与二阶比较：在相同测试条件下，无适应时二阶神经元发放36次对一阶的12次，适应启用时25次对14次。二阶神经元的膜电位在脉冲5时饱和于255并持续，表明8位动态范围不足以包含两阶段累积动力学。一阶模型状态峰值约160，适应动力学更清晰。对于需要规则预测性发放的应用，一阶模型更实用。
错误发现与解决：验证过程中识别并解决了六个错误，包括测试平台信号映射错误、数学公式中膜电位更新使用了当前突触状态而非下一状态值、固定点溢出需要降低脉冲振幅、输入时序断言过晚、突触更新逻辑在发放周期停滞、以及最具深刻意义的Verilog乘法截断问题——两个8位操作数乘积在无显式宽度上下文时被截断为8位，导致右移8位恒为零，需显式声明16位线网强制全宽乘法。逐周期读取时序的调整也确保了发放事件的完整捕获。
设计编译器综合：二阶神经元使用580个单元，较一阶的466个增加24%，六神经元网络使用3457个单元(一阶的7.4倍)。总面积的扩展遵循此趋势：二阶较一阶大1.77倍，网络较二阶大5.8倍。时序方面，三种设计在综合时均以0.00ns的松弛裕量满足1GHz建立时间目标，时钟树综合后建立时序松弛为正。
ICC2布局布线：布局后核心面积二阶神经元较一阶大30%，网络为二阶的5.7倍。时钟树综合使所有三种设计实现亚100ps最大时钟延迟和近零全局偏差。布局后功耗较综合估算有显著增加，反映真实线负载：二阶动态功耗127.00μW较一阶83.60μW高52%，网络669.00μW为二阶的5.3倍。开关功耗占总动态功耗的69-72%。六神经元网络接近6倍理想线性扩展，略低的部分可归因于时钟网络开销的共享。
物理设计比较：综合跨设计对比显示，二阶神经元较一阶约多消耗1.8倍面积和1.5倍功耗，用于额外的突触滤波级；六神经元网络较单个二阶神经元约多消耗5.7-5.8倍面积和5.3倍功耗，接近理想的6倍线性扩展。
讨论部分总结了研究的关键发现：逐周期状态监测脉冲输入验证方法揭示了早期恒定电流测试方法无法观察到的适应动力学。一阶神经元维持12-14次发放，二阶神经元显示清晰的适应有效性(25次对36次，31%抑制比)，尽管由于持续突触积累，其膜电位在五个脉冲内饱和于8位上界。网络中适应机制使N1发放从26次降至18次(31%抑制)，确认自我调节在神经元间脉冲通信中正确运作。二阶神经元额外动力学级的硬件代价显著：总面积增加77%，布局后动态功耗增加52%。对于优先考虑可预测、行为良好且具有清晰ISI增长的适应特性的应用，一阶模型是推荐选择。二阶模型将受益于更宽的16位数据通路以消除膜电位饱和。
研究结论部分翻译如下：本文已将Lin的一阶自适应LIF神经元基线扩展为两个新的架构尺度：具有两级突触滤波动力学的二阶神经元，以及具有可配置突触权重的六神经元全连接脉冲网络。所有三种设计均通过逐周期监测方法验证，并经由针对SAED 14nm、1GHz的完整物理设计流程完成综合。所有设计均成功展示生物启发的自适应放电行为——通过负反馈实现阈值和衰减速率适应。脉冲输入验证方法揭示了早期恒定电流测试方法无法观察到的适应动力学。二阶神经元的第二个动力学级的硬件代价显著：较一阶基线多消耗77%总面积和52%布局后动态功耗。六神经元网络展示近线性扩展：5.7倍核心面积和5.3倍功耗。对于优先考虑可预测、良好适应行为且具有清晰ISI增长的应用，一阶模型是推荐选择。二阶模型将受益于更宽16位数据通路以消除膜饱和。验证过程揭示了七个跨越测试平台连通性、数学公式、定点算术约束、Verilog表达式宽度语义和逐周期采样时序的错误。最具启发性的8位乘法截断问题突显了HDL语义与定点算法设计之间的微妙交互。未来工作方向包括：将数据通路精度提升至16位；扩展至具有可配置权重的更大规模多神经元阵列；纳入调制STDP学习规则用于片上突触可塑性；以及通过VCD反标进行门级仿真以实现精确的单脉冲能量测量。
