NeuroCompile：一种基于神经形态中间表示的、具有 Lava 代码生成原型的脉冲神经网络硬件感知优化框架

《Microprocessors and Microsystems》：NeuroCompile: A hardware-aware optimization framework with a Lava code-generation prototype for spiking neural networks on the Neuromorphic Intermediate Representation

　　

摘要神经形态硬件有望在脉冲神经网络（SNN）推理中实现巨大的节能效果，但跨平台部署仍然效率低下。神经形态中间表示（NIR）提供了跨七个仿真器和四个硬件平台的互操作性，但不进行优化。我们提出了 NeuroCompile，一个针对 SNN 工作负载的事件驱动和稀疏特性的 NIR 级优化和代码生成框架。它应用了三次迭代——脉冲率感知算子融合（SRAF）、时间平铺（TT）和平台自适应量化调度（PAQS）——并为 Intel Loihi 2 生成了一个原型 Lava 后端。每次迭代都通过显式的线性时间算法进行了形式化。我们在五个训练好的 SNN 架构和一个针对 Loihi 2 和 SpiNNaker2 的 4970 万参数 Meta-SpikeFormer-V2 规模的 NIR 图上评估了该框架。所有报告的能耗和延迟数字都是解析成本模型的预测，而非硬件或周期准确仿真器的测量值。在该模型下，估计 NeuroCompile 在 Loihi 2 上相比朴素 NIR 部署基准可将能耗降低 73%–98%，在 SpiNNaker2 上降低 47%–50%；每次迭代组合的相对排名在每项成本模型参数 ±30% 的扰动下保持不变。PAQS 是在此处评估的模型规模下的主导迭代，而 SRAF 和 TT 是规模相关的编译器机制，其效果随着脉冲率或工作集条件接近已发布硬件极限而增大。对小校准批次的仅推理功能保留探测表明，PAQS 分配的混合精度与统一 INT4 在 top-1 决策一致性上相当；在物理 Loihi 2 和 SpiNNaker2 硬件上对完整验证集的准确性仍有待解决。为了在解析成本模型之外提供独立佐证，我们增加了一个跨平台硬件验证活动（第 8.4 节），该活动报告了在五个真实估算器上测量的每次推理实时能耗：带有 NVML 功率探测的 NVIDIA RTX A6000 工作站 GPU、带有 INA3221 VDD_IN 导轨探测的 NVIDIA Jetson Orin Nano 8 GB、带有相同探测的 NVIDIA Jetson Orin NX 8 GB、带有 INA260 VCCINT 传感器的 AMD/Xilinx Kria KV260，以及相对于 Davies 等人的每操作皮焦耳数据的 Intel 官方 Lava Loihi2SimCfg 仿真器。在这些辅助平台中，混合精度执行在大多数配置中降低或大致保持了能耗，同时在几个模型 - 平台对中产生了高达 7.4% 的平台相关增加；能耗模型由权重算术主导的两个估算器（A6000 和 Loihi2SimCfg）显示出最大的降低（A6000 在最小模型上降低 57%，Loihi2SimCfg 在所有五个模型上降低 50%）。因此，我们将这些结果描述为辅助代理测量，而非在 Loihi 2 或 SpiNNaker2 硬件上的物理验证。编译开销低于 0.6 毫秒；4970 万参数的结果是在未训练 NIR 图上的图级压力测试，并以此报告。

引言登纳德缩放的结束和摩尔定律的持续放缓加剧了对后冯·诺依曼计算范式的搜索。其中，神经形态计算——受生物神经系统的事件驱动、大规模并行和局部连接结构启发——已成为一个特别引人注目的方向 [1]。Intel Loihi 2 [2]、SpiNNaker2 [3]、IBM TrueNorth [4] 和 SynSense Speck [5] 等神经形态处理器已证明，用于脉冲神经网络（SNN）推理的专用硅片可以将能耗降低两到三个数量级，相比基于 GPU 的相当深度网络部署。前景广阔：始终在线的边缘智能、超低功耗传感器处理和以前常规模型无法实现的功率预算下的实时机器人控制。

神经形态计算生态系统在硬件多样性和算法能力方面都迅速扩展。在硬件方面，多个具有根本不同设计理念的平台现在共存：Loihi 2 采用 128 个神经形态核心上的可编程神经元模型，具有可配置精度；SpiNNaker2 采用基于 ARM 的处理单元，具有灵活的神经元实现；SynSense 平台将传感器和处理器集成在单一事件驱动芯片上。在软件方面，snnTorch [6]、Norse [7]、Nengo [8]、Lava [9]、Rockpool、Sinabs 和 Spyx 等训练框架各自支持不同的神经元模型、训练算法和后端子集。这种多样性加速了创新，但也产生了严重的部署碎片化问题：在一个框架中训练的 SNN 必须费力地重新实现或移植才能在不同的仿真器或硬件平台上运行，并且移植过程经常以难以诊断的方式改变网络的数值行为。

2024 年引入的神经形态中间表示（NIR）[10] 解决了这个问题的互操作性维度。NIR 定义了一组最小可组合计算原语——泄漏积分 - 放电（LIF）神经元、基于电流的 LIF（CubaLIF）、仿射变换、卷积、循环连接——可以将广泛的 SNN 架构表达为结合连续时间动力学和离散脉冲事件混合系统。从 snnTorch 导出到 NIR 的网络可以被 Norse、Rockpool、Lava 导入，或直接映射到 Loihi 2 或 SpiNNaker2。这是一个重大进步：相当于神经形态计算的 ONNX。NIR 作者评估了仿真器和硬件后端之间的往返保真度，并证明前馈网络忠实地传输，尽管循环网络暴露了时间离散化的平台特定特性。

然而，NIR 被明确设计为交换格式，而不是编译目标。当网络通过 NIR 传输时，它是原样部署的：没有算子融合，没有内存感知调度，没有硬件特定精度适应。NIR 论文本身将编译器开发识别为基本未来工作，指出“只有建立了稳定的表示和交换格式，复杂的编译器框架的0开发才成为可能”[10]。这与传统的深度学习生态系统形成鲜明对比，在传统生态系统中，成熟的编译器如 TVM [11]、XLA [12]、TensorRT [13] 和 MLIR 框架 [14] 通常通过图级变换、算子融合和硬件特定代码生成提供 2–10 倍加速。神经形态计算中不存在等效基础设施。

在本文中，我们提出了 NeuroCompile，一个 NIR 级优化和代码生成框架。NeuroCompile 以 NIR 计算图和目标硬件配置作为输入，应用一系列分析和优化迭代，并为 Intel Loihi 2 生成可部署的 Lava 进程。贡献是 NIR 之上的跨平台优化层以及 Lava 代码生成后端。加速器架构、3D 集成和稀疏性利用级别的并发工作 [15]、[16]、[17]、[18]、[19] 解决相关但不相交的问题；我们在第 2.2 节详细将 NeuroCompile 与这些工作进行定位。该设计解决了关于 SNN 计算图的三个结构观察，这三个观察将它们与传统密集张量工作负载区分开来。首先，SNN 激活值是二进制脉冲，平均速率通常在 1%–10% 范围内，而深度学习编译器的标准算子融合技术将所有中间激活统一处理，未能利用稀疏性优化数据移动。其次，SNN 在 T 个离散时间步上处理输入，神经元状态跨时间步持续存在，因此内存规划必须考虑跨时间工作集，而不仅仅是每时间步激活。第三，每个神经形态平台支持不同的精度级别、内存层次结构和神经元原语集，因此针对一个平台优化的编译策略在另一个平台上可能表现不佳。

基于这些观察，NeuroCompile 引入了三个互补的优化迭代。脉冲率感知算子融合（SRAF）（第 4 节）根据概况脉冲率融合相邻 NIR 原语，根据脉冲稀疏性加权融合收益，并认识到稀疏的算子间激活产生的融合数据移动收益较小；我们将收益函数形式化，提供贪心融合算法，并证明其 O(|V|) 复杂度。时间平铺（TT）（第 5 节）将时间维度划分为适合片上 SRAM 的瓦片；对于具有循环连接模型的，瓦片边界需要边界状态管理，我们使用紧凑状态快照方案来解决。平台自适应量化调度（PAQS）（第 6 节）根据敏感性分析从硬件支持的位宽集中分配每层精度，在敏感的输入和输出层保留精度，同时在鲁棒的中间层积极降低精度。

我们额外贡献了一个解析成本模型（第 7 节），参数化为 Loihi 2 和 SpiNNaker2 的已发布硬件规格，支持任意 NIR 图的能耗和延迟估计，以及第 8 节的系统性实验评估。消融研究表明，主导优化机制取决于硬件特性和模型规模：在当前模型大小（数十万参数）适合片上 SRAM 的情况下，PAQS 提供大部分节省，而随着模型规模增加超过 SRAM 容量，SRAF 和 TT 变得日益重要。在我们的解析成本模型下，NeuroCompile 在 Loihi 2 上实现估计能耗降低 73%–98%，在 SpiNNaker2 上降低 47%–50%，编译开销亚毫秒级。

本文其余部分组织如下。第 2 节调查背景和相关工作。第 3 节提供 NeuroCompile 的架构概述。第 4 节、第 5 节和第 6 节详细介绍三个优化迭代。第 7 节描述解析成本模型，第 8 节展示实验评估，第 9 节讨论缩放行为、局限性和影响。第 10 节总结。

章节片段脉冲神经网络将信息编码在离散事件（脉冲）中，这些事件在时间上异步在神经元之间传输。最常用的神经元模型是泄漏积分 - 放电（LIF）神经元，其膜电位 $u_t$ 根据 $u_t = \beta \cdot u_{t-1} + I_t - o_{t-1} \cdot V_{th}, o_t = \Theta(u_t - V_{th})$ 演化，其中 $\beta \in [0,1)$ 是膜泄漏因子，$I_t$ 是突触输入电流，$V_{th}$ 是放电阈值，$o_t \in \{0,1\}$ 是输出脉冲，$\Theta(\cdot)$ 是 Heaviside 阶跃函数。

问题表述设 $G=(V,E)$ 表示一个 NIR 计算图，其中节点 $v \in V$ 是 NIR 原语（LIF, CubaLIF, Affine, Conv, BatchNorm 等），有向边 $e \in E$ 表示脉冲或电流连接。每个节点携带类型化参数：LIF 节点指定泄漏因子、阈值和重置行为；Conv 节点指定内核维度、输入/输出通道、步幅和填充。NIR 图在 T 个离散时间步上仿真，产生输出脉冲流。

目标硬件平台 H 是

动机算子融合是深度学习中的经典编译器优化：相邻算子（例如 Conv→BN→ReLU）合并为单个内核以消除中间激活的实体化。收益产生于将中间张量写入内存并读回通常主导内存受限算子的实际计算能耗。

在 SNN 计算图中，相邻算子之间的中间张量是低密度脉冲流。朴素

动机 SNN 在 T 个离散时间步上处理输入。执行期间，系统维护每神经元状态（膜电位、不应期计数器、资格痕迹）和每时间步脉冲缓冲区。为了通过时间反向传播进行训练，必须保留 T 个时间步的完整激活历史以供反向传递。即使是对于流式输入的推理，也可能需要保留历史的一部分（例如过去 k 个时间步）用于时间池化或类似注意力的机制。

作为

动机不同的神经形态平台支持不同的精度级别。Loihi 2 原生支持 1、2、4 和 8 位权重精度；SpiNNaker2 支持其 ARM 处理单元上的 8、16 和 32 位操作；忆阻器交叉阵列加速器通常由于器件变异性在 2–6 位有效精度下操作。跨平台而言，用于朴素部署的默认精度——NIR 指定权重未经修改的位宽——通常是最大支持值：8 位

能耗分解成本模型通过将每个节点的消耗分解为四个组件来估计每次推理能耗：$E_v = E_{comp}^v + E_{mem}^v + E_{route}^v + E_{neuron}^v$，其中 $E_{comp}$ 是计算能耗（乘加或脉冲触发累加），$E_{mem}$ 是内存访问能耗（SRAM 和 DRAM），$E_{route}$ 是脉冲路由能耗（核间片上网络），$E_{neuron}$ 是神经元状态更新能耗（膜积分、阈值比较）。总模型能耗是所有节点的总和，$E_{total} = \sum_{v \in V} E_v$。

对于一个 Conv 层

实验方法我们在五个 SNN 架构上评估 NeuroCompile，涵盖一系列计算模式，列于表 2。选择这些模型是为了锻炼编译器的不同方面：M1 测试基准情况（简单前馈卷积），M2 测试带有多个卷积阶段的事件输入处理，M3 测试与 TT 边界管理相关的循环动力学，M4 测试深度和残差连接，M5 测试注意力架构，这些架构在

讨论第 8 节的消融研究表明，在当前模型规模下，PAQS 主导了能耗节省。这是三个相互作用因素的结果，每个因素都随着该领域向更大模型和更强大硬件规模发展而演化。神经形态平台的默认精度设定了量化节省的上限：Loihi 2 的 8 位默认值结合对 4 位操作的支持，每层创造了 2 倍的量化空间，而假设的未来 16 位

结论我们提出了 NeuroCompile，一个用于脉冲神经网络的 NIR 级硬件感知优化和代码生成框架。

NeuroCompile 引入了三种模块化优化流程——脉冲率感知算子融合、时间平铺和平台自适应量化调度——这些流程利用了 SNN 计算图的独特属性：脉冲稀疏性、时间展开和平台相关精度。每个流程都通过明确的算法和线性时间复杂度进行了形式化描述，CRediT 作者贡献声明：Jong-Chan Kim：概念化、方法论、软件、验证、写作——初稿。Sungkwan Youm：概念化、监督、方法论、写作——审查与编辑、项目管理、资金获取。Sung-Hyun Go：资源、调查、数据管理、方法论、验证、写作——审查与编辑。利益冲突声明：作者声明以下财务利益/个人关系，可能被视为潜在的利益冲突：Sungkwan Youm 报告称由顺天国立大学提供。Sungkwan Youm 报告称与顺天国立大学存在包括：雇佣在内的关系。鉴于他的角色为，未参与本文的同行评审，并且无法获取有关其同行评审的信息。本文编辑过程的完全责任是。致谢：本文于 2024 年得到元光大学的支持。作者感谢顺天国立大学的同事们在神经形态部署工作流方面提供的有益讨论。Jong-Chan Kim 于 2000 年、2002 年和 2007 年分别从大韩民国顺天国立大学获得计算机科学学士、硕士和博士学位。他曾是大义大学的全职讲师（2007–2010 年）和首尔国立大学自动化与系统研究所的研究教授（2012–2013 年）。自 2023 年以来，他一直担任顺天国立大学计算机工程系的副教授（终身）。他的研究兴趣 Jong-Chan Kim|Sungkwan Youm|Sung-Hyun Go 计算机工程系，顺天国立大学，大韩民国全罗南道顺天市中央路 255 号，57922