综述：脉冲神经网络中的注意力机制：从神经编码到硬件实现

《Journal of Automation and Intelligence》：Attention mechanisms in Spiking Neural Networks: From neural encoding to hardware implementation

　　

脉冲神经网络（Spiking Neural Networks, SNNs）提供了一种具有生物学基础且高能效的传统深度学习替代方案，但长期以来在复杂感知任务上的表征能力难以匹敌人工神经网络（Artificial Neural Networks, ANNs）。注意力机制为缩小这一差距提供了可行路径，然而将其与脉冲计算相结合面临表征不兼容、时序信用分配及能效保持等根本性挑战。本综述系统分析了SNN中的注意力机制，完整覆盖了从神经编码策略到算法设计再到神经形态硬件实现的端到端流程。研究人员将脉冲注意力划分为四类：基于发放率的注意力、时序注意力、时空注意力及脉冲驱动注意力，并深入分析了各类注意力与不同编码方案及硬件约束的交互机制。在计算机视觉、语音识别、机器人控制及多模态感知等领域的应用表明，引入注意力的SNN能够在保留事件驱动计算能效优势的同时，缩小与ANN基准模型的精度差距。研究人员进一步从理论、算法、硬件协同设计及社区基础设施四个维度审视该领域，明确了阻碍注意力增强型SNN发展为可部署神经形态系统的开放性挑战，并阐述了面向这一目标的有前景的研究方向。

1. 1.
   Introduction
   现代深度学习的能耗已攀升至不可忽视的规模，单次大语言模型训练即可消耗数百兆瓦时电能，而在网络边缘持续部署推理任务则对电池寿命和热耗散提出了严苛限制，传统密集浮点运算难以满足此类场景需求。这一矛盾重新激发了学界对神经形态计算的兴趣，该范式借鉴大脑以稀疏、异步脉冲事件而非全局时钟驱动的连续激活值表征信息的策略。SNN是该理念的核心算法载体，由于脉冲神经元仅在膜电位超过阈值时通信，传统网络中占主导的乘累加操作被单个脉冲触发的低成本累加操作所取代。在Intel Loihi、DYNAPs等专用神经形态处理器上，这种事件驱动执行模式可实现相比GPU推理一到数个数量级的能效提升，使SNN成为常开边缘应用的理想候选方案。尽管具备显著能效优势，SNN在标准感知基准测试中的精度长期大幅落后于ANNs，这一差距在需要强表征能力的任务（如大规模图像分类、大词汇量语音识别及长上下文特征融合任务）中尤为突出。其核心瓶颈之一在于SNN架构缺乏有效的注意力机制。在ANN领域，注意力机制最初用于神经机器翻译的序列对齐，后经Transformer架构推广，已成为选择性加权相关特征、抑制无关特征的主导机制，支撑了自然语言处理、计算机视觉及多模态学习领域的顶尖模型，其应用始终与显著的精度提升相关联。若缺乏显式注意力机制，多数SNN架构仍受限于计算资源的选择性分配能力。将注意力集成至SNN的难度远超直观预期：标准注意力通过点积计算查询向量与键向量的兼容性得分，经softmax归一化后加权值向量，每一步均预设连续实值表征，而二进制脉冲序列与softmax归一化天然不兼容；同时，脉冲序列的时间结构引入了静态注意力图无法处理的复杂度维度，时序注意力必须针对特定时间点分配重要性，响应单个脉冲的延迟与共现性而非平均发放率；此外，任何解决方案均不得损害驱动SNN应用的能效优势。这些约束——二进制通信、时间动态及能效预算——共同定义了一个横跨机器学习、计算神经科学与硬件架构的研究难题。近期研究已取得初步进展：替代梯度方法实现了深度SNN的端到端训练；转换训练与直接训练架构在ImageNet数据集上精度逼近ANN；Spikformer、Spikingformer等脉冲驱动Transformer变体证明注意力兼容的SNN架构具备实际可行性。然而，从编码策略到注意力机制再到硬件映射的完整设计空间仍缺乏系统性认知。本综述覆盖从神经编码策略、注意力机制设计到神经形态硬件实现的完整流程，旨在为研究者与工程师提供关于现有成果、核心权衡及开放问题的连贯阐述。具体贡献包括：第一，对适配SNN的注意力机制进行结构化分类，区分基于发放率、时序、时空及脉冲驱动四类方法，分析决定其适用场景的特性；第二，剖析不同神经编码方案（包括发放率编码、时间编码及群体编码）如何交互并约束注意力设计，结合理论考量与实证结果展开讨论；第三，综述神经形态硬件平台，重点分析Intel Loihi-2与BrainScaleS-2，具体讨论注意力基元如何映射至其各自的执行模型；第四，明确表征表达能力理论、替代梯度收敛性、硬件映射及基准标准化领域的开放问题，并提出针对性的解决路径。表1对比了本综述与现有代表性综述的定位差异：通用SNN综述聚焦神经元模型、学习规则及应用；直接训练与架构综述关注替代梯度与可扩展训练；ANN与事件驱动注意力综述侧重密集ANN注意力或传感器级事件视觉注意力；硬件与成像SNN综述关注边缘AI电路与神经形态实现；既有注意力导向SNN综述仅涵盖早期SNN架构中的时序、通道、空间及多维注意力模块。本综述则以注意力为核心，跨编码、计算、应用及硬件维度构建分类体系，补充了去除softmax、时序选择性、稀疏性及硬件兼容性等关键视角，并将注意力机制与硬件映射关联，拓展了应用场景边界，同时纳入了近期脉冲Transformer家族与脉冲兼容注意力基元的最新进展。
2. 2.
   Background
   SNN与传统ANN在信息处理范式上存在本质差异：ANN通常以同步方式处理连续值激活，而SNN则在连续时间域内处理离散脉冲事件，其基本计算单元为脉冲神经元，该类神经元整合输入脉冲并在膜电位超过阈值时产生输出脉冲。现有神经元模型在生物学真实性与计算复杂度上各有侧重，包括简单的积分发放（Integrate-and-Fire, IF）模型、更具生物学合理性的泄漏积分发放（Leaky Integrate-and-Fire, LIF）模型，以及Hodgkin–Huxley、Izhikevich等生物细节丰富的模型，神经元模型的选择直接影响网络的表征能力与能效。SNN的信息可通过多种方案编码，主要分为发放率编码与时间编码：发放率编码通过固定时间窗口内的平均脉冲数表征信息，时间编码则利用单个脉冲的精确发放时刻。近期研究还探索了群体编码与相位编码等替代方案，各具独特优势。SNN的训练因脉冲事件的不可微特性面临独特挑战，主流方法包括：将训练后的ANN转换为SNN的转换方法；反向传播中用梯度近似替代脉冲函数的替代梯度方法；受生物学启发的局部学习规则——脉冲时序依赖可塑性（Spike-Timing-Dependent Plasticity, STDP）；以及专为SNN设计的直接训练算法。

2.1. Attention mechanisms

注意力机制使神经网络在处理信息时，能够选择性聚焦于输入或中间特征的相关部分，最初用于自然语言处理的序列到序列学习，后适配至各类领域与架构。其核心计算是生成决定不同元素重要性的注意力权重，通常表示为查询向量与一组键向量的函数，经softmax等归一化操作后，基于注意力权重对值向量进行加权平均得到注意力输出。典型注意力类型包括：使用可微分加权平均的软注意力与进行离散选择的硬注意力；序列内元素相互关注的自我注意力；一个序列元素关注另一序列元素的跨注意力；并行运行的多头注意力；以及限制于局部邻域的局部注意力与考虑所有元素的全局注意力。基于自我注意力机制的Transformer架构已成为NLP的主导范式，并逐渐渗透至计算机视觉领域，彰显了注意力方法的通用性与强大能力。近年ANN领域的Transformer架构已超越原始NLP形式持续演化：Vision Transformer（ViT）将自我注意力适配至图像块；Perceiver与Perceiver IO引入隐变量瓶颈以提升高维输入的处理效率，这些变体在保留长程依赖捕捉能力的同时降低了自我注意力的计算成本，对SNN集成注意力具有重要参考价值。尽管表征能力强大，传统自我注意力机制的计算复杂度随输入长度呈二次方增长，限制了其在资源受限场景的应用。Linformer、Performer、Linear Transformers等轻量级注意力机制通过核方法、低秩分解或随机特征投影近似注意力矩阵，将复杂度从O(n²)降至线性，对需在能效与稀疏计算约束下集成注意力的SNN极具吸引力。ANN注意力机制的发展凸显了两大挑战：计算复杂度与能耗。传统ANN注意力模块依赖密集矩阵乘法与全局归一化（如softmax），与SNN的事件驱动、稀疏计算范式不兼容，亟需兼具生物学合理性、时间感知性与稀疏兼容性的注意力形式，在保留脉冲计算效率的同时实现任务相关的选择性。

2.2. Spiking neuron models

IF模型及其泄漏变体LIF模型是该领域的广泛使用的抽象模型：神经元整合输入电流直至膜电位超过阈值，产生二进制脉冲后重置。Hodgkin–Huxley（HH）方程等生物物理细节丰富的模型虽能高精度复现离子通道动力学，但计算成本高昂，极少用于大规模SNN。Izhikevich提出的双变量脉冲神经元在生物学合理性与计算效率间取得平衡，可高效复现多种皮层放电模式。部分神经元模型进一步引入自适应阈值、不应期动态或多房室结构以更好捕捉神经动力学，但LIF类模型因简洁性与解析可处理性仍是事实标准。基于这些神经元模型，SNN架构已从简单前馈网络发展至深度卷积与残差网络。早期研究聚焦浅层或单层SNN，近期工作已将SNN扩展至深层层级。类CNN的卷积SNN已在视觉任务中得到验证，通常通过转换预训练ANN为脉冲形式训练。随着技术成熟，直接训练的深度SNN成为趋势：替代梯度学习方法克服了脉冲非线性的不可微障碍，使SNN端到端训练成为可能。研究表明，通过适当的神经元归一化与显式时间编码，深度SNN可在较少时间步下直接训练，在静态视觉基准测试中达到竞争性性能，且仅依赖稀疏脉冲操作。此外，脉冲元素级ResNet通过正确实现SNN中的恒等捷径，克服了梯度消失问题，支持百层以上网络训练。现代SNN常采用分层多级架构，包含主干与多个下采样阶段，类似深度CNN骨干，仅以脉冲神经元替换各层的ReLU激活。这些深度SNN架构通过时空反向传播或基于发放率的近似进行训练：转换方法通过校准阈值与权重以适配脉冲发放时间，可使转换后的VGG或ResNet SNN逼近ANN性能；直接训练则利用替代梯度技巧（如Neftci等人2019年的工作）实现误差随时间反向传播。大型词汇量语音识别任务的串联学习方案证明，深度SNN可在仅使用0.68倍总突触操作的条件下匹配ANN性能，凸显了SNN的能效优势。总体而言，现代深度SNN常融入残差连接、批归一化变体与稀疏脉冲编码，以平衡精度与效率，已能在ImageNet与DVS基准测试中取得接近传统网络的性能。

2.3. Attention-compatible SNN architectures

近期研究热点集中于将注意力机制集成至SNN。受Transformer成功启发，多个团队设计了脉冲Transformer架构。Spikingformer是首个全脉冲驱动的Transformer风格SNN，采用脉冲版本的查询-键-值投影与自我注意力图，排列为残差Transformer块，通过替代梯度端到端训练。该模型在ImageNet与DVS手势识别等基准上优于包括卷积SNN在内的先前SNN模型，且避免了模拟操作：通过设计，Spikingformer的注意力计算仅使用加法与脉冲逻辑运算，相比先前SNN Transformer基线能效提升超57%。其他工作遵循相似原则：如加法仅脉冲自我注意力混合二进制与三进制脉冲神经元，在不引入乘法的条件下提升精度；Auto-Spikformer通过神经网络架构搜索自动发现Spikformer配置，找到固定能效预算下的深度/宽度权衡方案。除纯Transformer设计外，混合全局-局部SNN也被探索以捕捉多尺度信息：Spiking Global-Local-Fusion Transformer（SGLFormer）在每个网络阶段通过感受野类建模的卷积处理局部特征，通过脉冲自我注意力捕捉全局上下文，随后进行特征融合，其层次化设计类似皮层处理机制，结合了卷积归纳偏置与Transformer风格推理。SGLFormer还引入了无需全局池化的脉冲时空模块以聚合跨时空信息，在ImageNet上以64M参数实现83.73%的top-1精度，较先前SNN提升约6.7%。其他层次化SNN设计（如脉冲驱动Incepformer、多头双脉冲注意力网络）同样集成了多尺度滤波与脉冲注意力。综上，注意力兼容SNN涵盖从脉冲版ViT到CNN-注意力混合网络等多种形态，均旨在通过自我注意力机制处理脉冲信号。

2.4. Design trade-offs

SNN中神经元模型与架构的选择需权衡生物学保真度、计算成本与性能。标准SNN中使用的简单IF与LIF神经元牺牲了膜与通道细节以换取计算效率。深度架构虽可匹配ANN精度，但通常需更多时间步或更丰富的脉冲编码（如多位或三进制脉冲）以维持表征能力。阈值缩放、可学习时间常数与神经元异质性等技术发挥关键作用：研究表明，引入跨神经元的异质性（包括多样的膜时间常数）可在极小额外成本下显著提升学习性能与鲁棒性。能效方面，SNN受益于稀疏事件驱动活动：二进制脉冲将乘累加（MAC）操作替换为低功耗累加（AC）操作，通常可实现突触操作量级数的能效降低。然而，以脉冲形式实现全局注意力引入复杂性：点积注意力通常需要模拟乘法器与softmax，本质上非脉冲驱动。近期SNN Transformer因此采用混合神经元类型或近似注意力机制（如脉冲拆分与加法复用）以维持脉冲稀疏性。SGLFormer与Spikingformer架构证明，通过脉冲域跳跃连接与新池化块等精心设计，可克服梯度流问题并避免非脉冲计算。最终，注意力增强型SNN必须在表征表达能力与脉冲稀疏性间取得平衡：多头注意力与深度Transformer等丰富架构通常以更多神经元或脉冲为代价提升精度，而简单架构更能保留效率。现有研究表明，受神经科学原理与ANN架构指导的合理神经元与网络设计，可使SNN有效集成注意力机制，在能效优先的事件驱动框架下实现局部与全局信息的层次化处理。

1. 3.
   Attention mechanisms in spiking neural networks
   图1展示了SNN中注意力机制的整体系统流程，阐明了神经编码策略、各类注意力机制、SNN架构与神经形态硬件实现间的关联。左侧展示三种神经编码方案：发放率编码中，神经元N1–N3的发放密度递增，固定时间窗口内的脉冲数编码刺激强度；时间编码中，神经元N1–N3的首脉冲潜伏期t₁<t₂<t₃携带信息，更早发放代表更强输入；群体编码中，每个神经元（N1–N5）在刺激轴上具有高斯调谐曲线，当前刺激s^*由群体集体发放率编码，其偏好刺激最接近s^*的神经元响应最强。中心展示四类脉冲注意力机制接入SNN流程，随后是在Intel Loihi上的神经形态硬件实现。右侧为ANN风格的特征图上自我注意力与跨注意力，其设计原则被适配并应用于SNN。

3.1. Differences in attention mechanisms for ANNs and SNNs

传统ANN与SNN在信息表征与处理上的根本差异导致注意力机制的实现存在显著区别。信息表征层面，ANN神经元激活为连续实值，可直接通过矩阵运算计算注意力权重；而SNN通过离散脉冲序列通信，注意力需通过脉冲共现检测与动态权重调制实现：前者受生物学突触可塑性启发，指数核e^-τ/τ_decay建模短期突触压抑，τ_decay通常设为10-50ms（基于皮层数据）；后者反映丘脑皮层回路中观察到的神经调节作用，突触效能w_ij^eff(t)随时间动态变化。生物学合理性层面，SNN注意力机制比ANN对应物更接近生物处理过程：STDP为竞争性注意力提供自然基质，参与时间相关活动的突触被选择性增强，无需显式归一化即可实现胜者通吃选择；树突层面的分支特异性脉冲整合允许单个树突作为局部注意力门控，在信号抵达胞体前根据时空上下文加权输入。注意力计算差异层面，ANN自我注意力通过查询（Q）、键（K）、值（V）计算，经softmax归一化后加权值向量；而SNN实现注意力需基于脉冲共现或相关模式计算查询-键兼容性，显式考虑时间维度，并通过调制突触效能而非直接加权连续值实现离散权重调制。计算复杂度层面，尽管ANN注意力对长度为n的序列通常具有O(n²)复杂度，需大量矩阵乘法，SNN注意力则受益于事件驱动稀疏性：当仅s比例的神经元活跃时，有效查询-键交互次数降至O(s²n²)，在典型神经形态工作负载中s<<1，可实现显著计算节省，在Loihi平台上实测能效较密集ANN注意力降低5–10倍。

3.2. Challenges in integrating attention with SNNs

将注意力集成至SNN面临两大ANN场景中不存在的根本挑战。其一为连续值归一化与二进制脉冲通信的不兼容性：标准softmax需密集实值输入，无法直接应用于脉冲序列。常见解决方案是以基于脉冲计数的归一化替代，通过时间脉冲共现近似注意力权重，同时保留表征的离散性。其二为跨时间的信用分配问题：随时间反向传播（BPTT）在脉冲活动稀疏且分布于多时间尺度时表现不佳，梯度或因静默区间消失，或无法捕捉单个脉冲的精确发放时间。虽有研究提出结合替代梯度与STDP的混合训练策略，但完全原理性的解决方案仍是开放问题。

3.3. Categories of attention in SNNs

基于编码粒度与计算基元，研究人员提出SNN注意力机制的分类体系。基于发放率的注意力作用于发放率而非单个脉冲，概念上与ANN注意力相似，流程包括：通过时间平均将脉冲序列转换为发放率表征；对发放率表征应用传统注意力机制；通过各类编码方案将注意力输出转换回脉冲域。该方法实现简单，但可能未充分利用SNN的时间处理能力，已在图像分类等任务中验证有效性，可在限制脉冲活动的同时实现与ANN注意力相当的精度。基于时间的注意力是最具SNN特性的注意力形式，将脉冲发放时刻视为信息而非待平均的噪声，为一般化形式，归一化无需全局softmax，可通过衰减、抑制、阈值或局部竞争实现，包括首脉冲注意力（赋予早发放脉冲更高增益）、基于迹的注意力（利用指数衰减突触或膜变量）及振荡或相位注意力（根据神经元群体相对相位调制增益）。其学习规则可在不同生物学与算法保真度下实现：深度监督SNN中，注意力参数通常通过时间替代梯度学习更新；更具脉冲原生特性的学习规则则将资格迹与全局误差或奖励信号结合，连接至三因子学习规则与奖励调制STDP，符合生物学局部性，且硬件实现友好，数字神经形态处理器（如Loihi-2）中时间迹仅在脉冲到达时更新，模拟基板（如BrainScaleS-2）中指数衰减核由膜与突触电路直接实现。时空注意力结合了传统注意力的空间选择性与脉冲处理所需的时间敏感性，使SNN能同时聚焦于时空域的相关特征，包括因子化注意力（空间与时间分量独立计算后组合）、联合时空注意力（考虑完整时空体积，实践中常以事件驱动近似或局部竞争机制替代softmax）及层次化注意力（在多空间与时间尺度上操作）。该方法在视频处理与动态场景理解中价值显著，事件相机输入因其时空稀疏与非均匀特性尤其受益。脉冲驱动注意力是最具特异性的类别，注意力机制直接在脉冲事件上运行，全程维持SNN的稀疏事件驱动特性，包括基于共现检测的注意力（时间相关性决定注意力权重）、调制突触效能的突触注意力（基于上下文动态调节）及实现竞争性注意力的胜者通吃电路（确保仅膜电位最高的神经元产生输出脉冲）。其学习可通过局部可塑性规则实现，无需密集查询-键归一化，符合多种选择性处理的电路 motif，硬件优势源于相同的局部性：共现检测映射至计数器或衰减迹，胜者通吃竞争映射至抑制连接，突触门控映射至有效权重或路由掩码更新，非活跃神经元不产生注意力更新，成本随活跃事件与内存访问而非序列全长缩放。

1. 4.
   Neural encoding and attention
   发放率编码通过平均发放率表征信息，与注意力结合时，较长的时间窗口（T≥50ms）可提升精度，但延迟增加3倍；在Loihi-2平台上，相比