具有脉冲动力学时间协同优化的分布式神经形态计算

《Future Generation Computer Systems》：Distributed neuromorphic computing with temporal co-optimization of spiking dynamics

　　

# 摘要

神经形态处理器和事件驱动传感器能够实现全天候感知，然而在其异构边缘设备上训练其计算基本模块——脉冲神经网络（SNNs）——受到带宽、时延和能耗的制约。本文研究了在计算和通信均由稀疏脉冲事件驱动的连续时间SNN训练的系统问题。基于先前开发的精确事件驱动单设备学习器（ExactTrain）作为本地训练原语，我们开发了分布式协议、AER通信抽象以及相应的收敛性、通信量和系统分析。特别地，我们提出了：(i) FedSNN，一种联邦协议，在全参与和一次完整本地梯度下可匹配集中式精确梯度训练；(ii) SplitSNN，一种分割协议，将模型分割到不同设备并在设备间交换地址事件表示（AER）脉冲和误差包；(iii) HybridSNN，一种两层级分割/联邦层次结构，可显式揭示精度-通信权衡。在N-MNIST和DVS Gesture基准上的实验评估了集中式等价性、分割和混合通信量、匹配配置和按字节计数的基线比较、可扩展性、对非IID数据和切分位置的敏感性，以及带注入带宽限制、抖动和丢包的轨迹驱动网络模拟。结果表明，所提出的协议在保留精确事件驱动本地学习时序优势的同时，以稀疏的脉冲/误差流量替代了密集激活交换，且其扩展可从事件率和切分连通性中预测。

# 引言

从振动监测器到事件相机，当今的传感器无法承受将完整原始数据流式传输到云端的开销。随着传感部署规模的扩大，满足时延、隐私和能耗目标需要在设备端进行学习和推理。边缘智能，即在数据生成的地方运行模型，能有效控制时延和能耗。在这种场景下，神经形态计算的兴起极具前景[1]：基于事件驱动硬件的脉冲网络仅在发生显著变化时处理信息[2][3]。这些特性与现代边缘系统的工作负载高度契合——现实世界信号（如音频脉冲、微振动或异步视觉事件）以不规则流而非同步帧的形式到达。一旦学习被表述为同样的事件驱动语言，这种稀疏性便延伸至训练过程。在分割设置中，计算和跨设备通信仅在脉冲事件时发生，因此分布式学习成本随活动（发放率）而非密集的时间展开张量扩展。Intel的Loihi和Heidelberg的BrainScaleS-2等神经形态器件已展示了脉冲计算的出色能效-时延权衡，并为边缘场景至关重要的特性提供原生支持：突触延迟、片上学习规则和地址事件路由[2][3]。结合低功耗事件驱动传感器（如动态视觉传感器），这些平台可在大幅减少数据移动和能耗的同时实现全天候感知[4]。

尽管前景广阔，但若干长期存在的障碍限制了脉冲神经网络（SNN）基本模块在边缘智能栈中的实际集成。尤为关键的是，由于离散脉冲引入的非可微性，使用反向传播训练SNN历来困难重重。大多数工作因此采用替代梯度，用平滑代理替换真实的脉冲导数[5]。尽管在实践中有效，但替代方法引入了近似误差并复杂化了训练动态，尤其是在优化时间参数（如突触延迟）或神经元内部自适应机制时。近期进展表明，通过将SNN建模为混合动力系统并对脉冲时刻求导或使用伴随方法，精确梯度计算是可行的[6][7][8]。然而，现有表述往往要么忽略多种模型参数（如用于时间编码的轴突延迟和动态阈值）的协同学习，要么无法干净地连接到分布式训练。

因此，在边缘部署SNN是一个系统问题：模型必须在异构、带宽和能耗受限的设备上训练和运行，同时尊重数据局部性。经典的集中式训练远非良配。即使通用边缘智能框架（如分割学习（SL）和联邦学习（FL））在事件驱动场景中也需重新思考——此时通信的基本单位是脉冲（地址+时间戳）而非密集张量。尽管早期研究表明脉冲模型可从联邦和分割计算中受益[1][9][10][11][12]，但我们仍缺乏针对以下两点的算法与通信理论配方：(i) 对延迟、权重和阈值进行精确事件驱动的协同优化；(ii) 将快速本地网格与较慢的远程链路相结合的多层级边缘层次结构。

本文基于Ferdowsi和Aral[13]提出的SNN精确事件驱动单设备学习算法展开。该先前工作推导了突触权重、延迟和自适应阈值联合优化的精确脉冲时刻梯度。在本文中，ExactTrain被用作本地训练原语。本文的贡献在于将这些本地学习器跨带宽受限边缘设备组合的分布式系统层。

据此，我们提出了一个仍然开放的系统问题：如果本地SNN模块可以从脉冲时刻精确训练，那么这些模块应如何分布，以保留神经形态传感的稀疏事件语义？

更具体地说，在我们的考虑中，当由混合系统控制的膜电位跨越（可能是自适应的）阈值时，就会发出一个脉冲。因此脉冲时刻是光滑函数$F(t,\Theta) = V(t,\Theta) - \nu(t)$的唯一根，其中$\Theta$汇集模型参数，$\nu(t)$是自适应阈值。正如[13]所示，只要脉冲模式满足某些温和的正则条件，隐函数定理（IFT）[14]保证每个脉冲时刻都是$\Theta$的可微函数，其梯度是$F$关于$\Theta$和关于时间的偏导数之比。这种事件驱动视角与混合系统的伴随表述密切相关[6][7]，保留了使SNN对神经形态硬件具有吸引力的稀疏性：前向和反向传递仅在事件时刻进行。与替代梯度不同，精确事件驱动梯度在优化塑造脉冲发生时刻的时间参数时仍保持忠实。对于微秒级别至关重要的边缘工作负载（如声学起始检测、冲击定位或振动分析），这是关键能力。

在此基础上，在系统层面，我们展示了如何通过三种互补的分布范式跨设备组合最优训练的模块：采用周期性参数同步且不共享原始数据的FedSNN、跨节点进行模型分割并端到端交换脉冲事件和误差信号的SplitSNN，以及结合两者以尊重本地时延和全局带宽预算的两层级HybridSNN（见图1）。总体而言，从单设备学习到分布式边缘训练，我们将分布式SNN训练用边缘系统的语言进行了表述。在FedSNN设置中，每个节点使用精确事件驱动梯度在本地数据上训练完整的SNN实例，并周期性地向服务器端FedAvg聚合[15]贡献模型更新，这遵循联邦SNN训练的总体路线[9][16]。这使原始脉冲序列保持在本地，并将通信开销分摊到许多本地事件上。这本身并不是正式的隐私保证，因为共享的模型更新可能泄露信息。相比之下，当模态在设备间垂直分割时（例如音频和雷达），我们提出了SplitSNN。它将层分割到各节点，在前向传递中交换脉冲包，在反向传递中交换稀疏误差包。包的表示遵循AER通信[17]。EC-SNN为跨边缘设备分割SNN提供了相关动机[10]，但我们的精确分割训练规则和反向误差接口是不同的。最后，HybridSNN让一组邻近传感器以亚秒级时延运行SplitSNN，而剩余节点连同簇头一起通过远距离无线电（如LoRa/NB-IoT）参与稀疏FedSNN轮次。我们提供了一个带宽模型，将逻辑边缘交付（随切分连通性和发放率扩展）与物理包（在接收端复制下随传输切分事件率扩展）区分开来。我们还在标准光滑性假设下证明了线性收敛风格的保证。

从硬件架构角度看，事件驱动学习和通信与当代神经形态平台的能力相契合。Loihi支持可编程学习规则、突触延迟和稀疏脉冲路由[2]。BrainScaleS-2将加速的模拟神经元阵列与数字事件网络和嵌入式处理器结合以实现片上学习[3]。在算法方面，通过脉冲的精确梯度反向传播（如EventProp）已从理论走向硬件演示[6][8]。对于边缘部署，结构化稀疏性和量化可减少边缘神经形态模型中的突触运算和内存占用[18]。事件相机和AER链路也通过仅传输活跃像素或神经元的地址-时间对来减少数据移动[4][17]。这些特性支持大规模传感系统中的全天候、数据本地分析，包括环境监测、智能基础设施和工业物联网。

详细贡献：

- **事件对齐的部署模型和通信接口**：我们形式化了一个部署抽象，将异构边缘传感器流视为固定观测窗口上的带时间戳地址事件（AER）序列，每个节点仅观测部分地址。监督信号通过时间引用的目标来表达，使目标自然与脉冲时序对齐。这一统一模型为所有三种协议——联邦、分割和混合——提供了共同的数据和通信词汇：前向消息是脉冲包，反向消息是稀疏误差包（或紧凑参数增量），独立于底层硬件或传输方式。为反映真实网络，我们将缓慢变化的平均链路时延与快速抖动分离，并将估计的平均值吸收到有效延迟中，从而在训练和推理期间跨设备保持时序一致性。

- **FedSNN：具有精确性区间的SNN模块化联邦训练**：我们设计了一种联邦协议，客户端执行精确事件驱动的本地更新并通过带宽感知的聚合进行参数同步。我们证明了在全参与、每客户端一次完整本地梯度且每轮一步本地更新的条件下，FedSNN可复现集中式精确梯度下降步骤，并在标准光滑性和强凸性假设下继承匹配的线性收敛率保证。

- **SplitSNN：具有流量保证和时延补偿的脉冲/误差包分割学习**：我们为连续时间SNN的分割学习建模，其中中间激活是AER脉冲包，反向传播信号是稀疏的切分事件伴随量或按突触聚合的梯度。我们提供了一个跨切分流量模型，区分逻辑边缘交付与物理组播包。逻辑交付随切分连通性和发放率扩展，而物理事件包受传输切分脉冲率上界约束。我们还证明了已知的固定链路时延可被吸收到有效突触延迟中，而无需修改事件驱动梯度公式。

- **HybridSNN：具有通信-精度权衡的两层级分割/联邦层次结构**：我们引入了一个两层级设计，在低时延集群内部运行SplitSNN，并通过慢速回程网络使用FedSNN协调各集群。我们建立了共享最小值机制下的两层级收敛保证，量化了异质性引起的漂移，并推导了通信-精度界。该分析还确定了在非平凡的帕累托工作点超越理想共享最小值乘积模型所需的异质性、时延或系统约束。

- **超越精度的系统中心评估**：在两个事件驱动视觉基准（N-MNIST和DVS Gesture，采用拼接的DVS128分割/混合部署）上，我们验证了(i) FedSNN与集中式的等价性，(ii) SplitSNN的流量扩展性，(iii) HybridSNN的代价-精度前沿。我们还报告了匹配配置和按字节计数的基线比较、可扩展性以及对非IID数据和切分位置的敏感性、时间协同优化，以及轨迹驱动的带宽、抖动和丢包模拟。

综合来看，在系统层面，这些贡献将现有的为单个隔离SNN设计的精确事件驱动梯度学习与边缘原生联邦/分割学习统一起来：当以时延为主导时，SNN模块靠近传感器部署，而通过稀疏参数交换实现全局适配。扩展的N-MNIST/DVS Gesture评估从集中式等价性测试到轨迹驱动的网络鲁棒性测试了该设计。

**论文结构**：第2节回顾SNN训练、硬件和分布式边缘学习。第3节回顾精确本地学习器。第4节开发三种协议。第5节展示一系列实验。第6节总结全文。由于篇幅限制，我们将技术证明和部分附加实验结果移至附录。

# 片段：SNN训练——替代梯度 vs. 精确/事件驱动

十多年来，大多数高精度SNN依赖于替代梯度松弛方法，在通过时间反向传播时用平滑代理替换不可微的脉冲[5]。替代方法可扩展，但引入了偏差，往往模糊脉冲时序信息，并且通常需要密集的时间展开，带来较大的内存占用。近期工作通过算法改进（如时间稀疏化和选择性……

# 背景：单设备ExactTrain（[13]回顾）

单设备ExactTrain例程贯穿全文作为FedSNN、SplitSNN和HybridSNN的本地学习原语。由于篇幅限制，我们保留数学要素：连续时间事件模拟、脉冲时刻损失以及命题3.1和推论3.2中的隐式灵敏度。

完整实现级别的训练循环见附录A.2中的算法4，其中包含前向事件模拟、反向逐事件梯度累积，以及[更新部分]。

**分布式神经形态构建模块**

分布式神经形态计算是指在数据局部性、带宽和时延约束下，将脉冲模型的训练与推理跨多个边缘节点进行。在我们设定中的关键使能因素在于：ExactTrain（算法4）及其梯度（命题3.1和推论3.2）在事件层面对齐——前向模拟与反向传播均以脉冲事件和局部突触索引来表达。因此，我们将ExactTrain视为本地原语，并研究其如何被……

**实验结果**

在本节中，我们通过实验研究了第4节提出的精确事件驱动训练规则及三种分布式协议。我们的目标是：(i) 验证在精确性范围内的FedSNN遵循与集中式更新路径相匹配的路径，依据命题4.2中的完整梯度陈述及其采样目标小批量类似形式；(ii) 表明SplitSNN在保持精度的同时，产生了与定理4.5所匹配的通信模式；以及(iii) 展示HybridSNN……

**结论**

我们提出了一种分布式神经形态训练框架，该框架以ExactTrain作为事件驱动的本地原语，并通过FedSNN、SplitSNN和HybridSNN实现SNN的分布式处理。分析确定了精确的全参与联邦范围，推导出分裂流量在发射率与切分连接性上的缩放规律，并刻画了理想范围及漂移受限的混合范围。在N-MNIST和DVS Gesture上的实验表明，稀疏AER接口可以保留精度以及时序特征……

**CRediT作者贡献声明**

Arman Ferdowsi：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法学、形式分析。Atakan Aral：撰写——审阅与编辑、撰写——初稿、方法学。

**利益冲突声明**

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

Arman Ferdowsi是维也纳大学计算机科学系的高级研究员，领导FWF资助的"异步电路符号时序分析（STAAC）"项目。此前，他曾在同一学院担任博士后研究员。他拥有应用数学理学学士学位、软计算理学硕士学位，以及数学与计算机科学两个博士学位，后者来自维也纳工业大学。他的主要研究兴趣包括形式方法、[理论]……

Arman Ferdowsi | Atakan Aral

维也纳大学计算机科学系，奥地利，维也纳