具有双记忆通路的神经形态网络的算法-硬件协同设计

《Nature Machine Intelligence》：Algorithm–hardware co-design of neuromorphic networks with dual memory pathways

　　

脉冲神经网络（SNNs）在事件驱动感知方面表现出色。然而，在严格的能量和内存预算约束下，同时在算法和硬件层面维持长时间尺度的任务相关上下文，仍然是该领域的核心挑战。在此，研究人员通过算法-硬件协同设计来解决这一挑战。在算法层面，受大脑皮层快慢组织（fast–slow organization）的启发，研究人员引入了一种带有显式慢记忆通路的神经网络，与快速脉冲活动相结合，实现了双记忆通路架构（DMP architecture），其中每一层维护一个紧凑的低维状态，总结近期活动并调节脉冲动力学。这种显式记忆稳定了学习，同时保持了事件驱动的稀疏性，在长序列基准测试中实现了与同等最先进的脉冲神经网络相比参数减少40-60%的竞争性准确率。在硬件层面，研究人员引入了一种近存计算架构（near-memory-compute architecture），通过保留其紧凑的共享状态并优化跨异构稀疏脉冲和密集记忆通路的数据流，充分利用了双记忆通路架构的优势。研究人员展示了实验结果，表明与最先进的实现相比，吞吐量提升超过四倍，能效提升超过五倍。这些贡献共同表明，生物学原理可以指导既在算法上有效又在硬件上高效的功能抽象，为实时神经形态计算和学习建立了一个可扩展的协同设计框架。

**论文解读：算法-硬件协同设计实现高效神经形态时间处理**

**研究背景与问题**
脉冲神经网络（SNN）凭借事件驱动特性在实时感知任务中具有天然优势，但其维持长时间尺度上下文的能力面临根本性矛盾：标准漏电积分-放电（LIF）神经元仅能在毫秒量级保留输入痕迹，而纯前馈SNN无法同时编码“发生了什么”和“何时发生”。现有延长时间整合能力的方法，如递归连接（RSNN）和学习延迟（DSNN），虽能提升性能，但递归导致参数和存储需求二次缩放，延迟则需深度片上缓冲或大电容，均严重增加硬件面积、功耗和延迟。这种“时间能力与硬件效率相互冲突”的困境亟需新的设计思路。为此，研究人员受大脑皮层快速放电与慢速树突整合的回路组织启发，提出算法-硬件协同设计方案，成果发表于《Nature Machine Intelligence》。

**研究概述**
研究人员提出双记忆通路脉冲神经网络（DMP-SNN），在算法层面为每一层引入显式、紧凑的低维慢记忆状态，与快速脉冲活动并行；在硬件层面设计数字近存计算架构，通过数据流优化充分挖掘慢记忆共享与稀疏脉冲的混合优势。实验表明，该方案在多个序列基准上以更少参数达到或超越最先进（SOTA）模型，并在22nm工艺的后布局仿真中实现超过4倍吞吐量提升和5倍能效提升。

**关键技术方法（≤250字）**
算法上，研究人员采用基于勒让德记忆单元（LMU）的状态空间模型（SSM）构建慢记忆通路：每一层维护一个低维状态向量m∈R^d（d<
**研究结果**

**1. 双记忆通路用于高效时间计算**
通过对比前馈SNN（FSNN）、递归SNN（RSNN）、延迟SNN（DSNN）与DMP-SNN在四个基准上的性能，发现DMP-SNN在PS-MNIST上达到97.3%准确率，在S-MNIST上达99.3%，且参数减少40-60%。即使仅使用5%隐藏宽度的记忆状态，也能获得一致增益，表明紧凑慢状态有效捕获了任务相关时间上下文。

**2. 上下文依赖的时间需求揭示设计权衡**
通过改变记忆更新间隔（膨胀因子），发现视觉序列任务（S-MNIST、PS-MNIST）对粗粒度更新（膨胀至10步）不敏感，而听觉任务（SHD、SSC）性能迅速下降，说明不同任务对时间分辨率要求不同。增大记忆维度至捕获任务相关时间尺度后性能饱和，提示神经元数量、记忆维度和时间窗口应协同调节。将DMP与学习延迟结合时，既能提升小记忆状态下的准确率，又将学习到的延迟分布推向更短时间，表明慢状态可替代长延迟的部分功能。

**3. 双记忆网络增强长期信用分配**
在最后时间步监督下进行梯度分析，DMP-SNN在784步S-MNIST和200步PS-MNIST上维持非零梯度，而纯前馈SNN梯度迅速消失，准确率仅11.3%和15%。这表明慢记忆状态提供了稳定的长时梯度路径，而非依赖增大神经元时间常数。

**4. 双记忆硬件实现展示优越吞吐量和能效**
在22FDX工艺的后布局仿真中，与Loihi2（数字延迟实现）、DenRAM（模拟延迟实现）、ReckOn（递归实现）和ElfCore（基线）对比，DMP-SNN吞吐量达Loihi2的4倍以上、ReckOn的1.9倍以上；能效相比Loihi2和DenRAM提升超过5倍，相比带消融的ElfCore提升2.5倍。面积效率优于ReckOn（2倍以上），仅因中间累加缓冲带来微小面积开销。

**5. DMP-SNN的特定硬件优化**
通过数据流依赖优化，慢记忆更新（P m[k-1]）与标量积累（x[k]）可并行执行，平衡关键路径。算子融合将神经元漏电更新、脉冲整合和记忆整合合并为单次操作，每个神经元仅一次内存访问，使计算进入计算受限区域。异构操作数驻留对稀疏脉冲采用输入驻留（列驻留）以减少权重内存访问，对密集记忆采用输出驻留（行驻留）以最小化神经元状态访问，进一步降低内存流量。

**总结讨论与结论**
该工作表明，通过算法-硬件协同设计，生物学的快慢回路组织可以转化为高效的功能抽象。研究人员总结出明确的长时间尺度脉冲处理设计原则：使慢状态显式、共享和低秩；保持快路径事件驱动；在硬件上并行执行两者。这一原则使长时间尺度与实现效率不再竞争，为神经形态系统建立了可扩展的模板。研究结论翻译如下：
总体而言，研究人员展示了如何通过受大脑回路结构启发的硬件-算法协同设计实现高效时间处理。在算法层面施加硬件考量，得到具有显式低秩时间记忆的网络架构；围绕显式记忆设计硬件并应用精心编排的优化，获得有效整合快慢记忆的异构数据流。这种算法与硬件的联合配对实现了超越基准的时间处理能力和最先进的能效。研究人员已将硬件架构开源以促进社区采用和进一步协同设计探索。
研究结果建议了一个清晰的长时间尺度脉冲处理的算法-硬件设计原则：使慢状态显式、共享且低秩；保持快路径由脉冲驱动；并在硬件上并行执行两者。在此框架下，长时间跨度不再与效率竞争，生物快慢回路提供了高层次设计模式而非松散类比。这为时间能力和部署实用性相互增强的神经形态系统建立了可扩展模板，而非彼此折衷。