《Advanced Science》：Device Stochasticity Directly Implements Bayesian Sampling in Spiking Neurons
编辑推荐：
器件随机性通常被视为神经形态硬件中的非理想因素，然而随机神经活动在生物系统中支持概率计算。研究人员证明，磁隧道结（MTJ）的本征随机开关行为可映射为随机阈值脉冲神经元，从而为贝叶斯脉冲推断提供物理采样基元。研究人员开发了一种脉冲贝叶斯神经网络（SBNN），其神
器件随机性通常被视为神经形态硬件中的非理想因素，然而随机神经活动在生物系统中支持概率计算。研究人员证明，磁隧道结（MTJ）的本征随机开关行为可映射为随机阈值脉冲神经元，从而为贝叶斯脉冲推断提供物理采样基元。研究人员开发了一种脉冲贝叶斯神经网络（SBNN），其神经元阈值分布在训练过程中学习，在推断过程中进行采样。研究人员还引入了一种速率估计方法，该方法传播放电概率而非显式脉冲序列，相较于替代梯度训练实现了最高22倍的加速。与代表性贝叶斯神经网络基线相比，SBNN在准确率-校准权衡方面表现良好，在静态和事件数据集上均达到高准确率，并在MNIST和Fashion-MNIST上均获得较低的负对数似然。在MNIST上，SBNN在归一化权重噪声标准差为0.20时保持96.20%的准确率，在输入噪声标准差为0.25时保持81.30%的准确率，而脉冲神经网络（SNN）分别仅为27.42%和70.27%。使用物理MTJ开关进行采样、软件进行网络运算的硬件在环验证在脉冲行为和分类性能上与软件推断高度一致。这表明本征器件随机性可以从硬件非理想性转变为紧凑且耐噪声神经形态系统的贝叶斯计算资源。
**研究背景与问题**
过去十年间，深度学习在各类人工智能任务中取得了显著成功，但模型复杂度和数据规模的持续增长导致计算与能耗成本迅速攀升。神经形态计算旨在从算法和硬件两个层面借鉴生物神经系统来应对这一挑战。在算法层面，脉冲神经网络（SNN）通过离散脉冲通信模拟神经信息处理，因其稀疏脉冲事件传输特性，在事件视觉、边缘计算和神经形态传感等低功耗推断场景中展现出强大潜力。在硬件层面，阻变存储器（RRAM）、相变存储器（PCM）以及包括磁隧道结（MTJ）在内的自旋电子器件被广泛探索作为人工神经元和突触。
此类器件基神经形态系统面临的核心挑战是随机性。当软件训练的神经网络部署到新兴器件上时，电阻态、开关行为或神经元输出的本征涨落会扭曲计算中的对应值并降低推断可靠性。因此，器件随机性通常被视为需要通过稳定器件工程和纠错策略加以抑制或补偿的非理想性。然而，随机动力学在生物神经回路中普遍存在，且日益被认为具有功能相关性而非仅仅是有害的。在生物神经系统中，试次间变异性已通过神经采样理论与贝叶斯推断相关联，其中脉冲模式被解释为后验分布的样本，显式表征不确定性。这些观察提示，神经形态器件的本征随机性应当被利用为基于采样的概率推断的物理基底，而非仅被视为需要抑制的非理想性。基于此，研究人员提出了一种脉冲贝叶斯神经网络（SBNN），通过可学习神经元阈值引入不确定性，并利用MTJ的随机开关作为神经元随机输出的物理来源。该方案使神经元采样与确定性量化突触权重得以共存。为提高训练效率，研究人员引入了速率估计（RE）方法，传播估计的放电概率而无需显式模拟时间脉冲序列。论文发表在《Advanced Science》。
**关键技术方法**
研究人员采用磁控溅射系统制备Ta/CoFeB/MgO/CoFeB多层膜MTJ器件，通过光刻和剥离工艺制备电极。器件表征使用Keithley 4200A-SCS半导体参数分析仪配合4225-PMU脉冲测量单元，测量反平行到平行态的开关概率-电压曲线并用Sigmoid函数拟合提取开关参数。网络训练采用基于变分推断的速率估计（RE）方法，在概率域进行端到端优化，使用直通估计器处理量化权重。硬件在环（HIL）验证使用单个物理MTJ依次复用生成隐藏层和输出层的随机脉冲输出，网络运算和参数存储均在软件中完成。器件变异性分析中，静态器件间（D2D）分布从已发表的250个和144个MTJ开关参数直方图重建，循环间（C2C）变异性通过时间扰动模型模拟。
**研究结果**
**Stochastic Spiking Neuron Implemented with MTJ Devices（基于MTJ器件的随机脉冲神经元）** ：研究人员建立了MTJ开关行为与随机泄漏积分放电（LIF）模型神经元动力学之间的数学关系。MTJ的平行态和反平行态分别对应脉冲和静默事件，近临界驱动下由热涨落引起的开关概率遵循Sigmoid型累积分布。通过将MTJ开关电压的概率密度函数映射为LIF阈值分布，单个MTJ可直接实现阈值采样和随机脉冲发放。实验表明开关概率随脉冲幅度单调增加并可由Sigmoid拟合良好描述，特征电压为0.4997 V（50%开关概率），相同驱动条件下开关事件呈现由热噪声主导的试次间变异性。
**SBNN Architecture and Rate-Estimation Training（SBNN架构与速率估计训练）** ：研究人员构建了实现本征阈值采样的SBNN，每个神经元从由均值和方差参数化的分布中采样阈值，使相同输入产生不同脉冲输出。参数通过变分推断优化，网络自然编码贝叶斯后验分布。RE训练框架将神经动力学视为概率分布的传播而非离散事件，训练时以闭式解逐层计算放电概率，避免显式脉冲采样和时间步模拟。为融入残差架构，研究人员引入了在概率域训练时使用逻辑或分支融合、推断时使用加性融合的模块。
**Accuracy and Calibration of SBNNs on Vision Recognition Tasks（SBNN在视觉识别任务中的准确率与校准）** ：在静态图像数据集上，8比特SBNN在MNIST上16时间步达到99.16%准确率，在Fashion-MNIST上达到90.05%；混合精度ResNet-19在CIFAR-10上8时间步达到94.84%。即使全二值配置在MNIST上16时间步也达到98.71%。在事件动态视觉数据集上，SBNN在DVS Gesture上达到97.22%，CIFAR10-DVS上QKFormer骨干达到82.8%，N-CALTECH101上达到88.82%，与LIF基线相当或更优。与贝叶斯基线比较，SBNN在MNIST上800-800隐藏单元配置达到99.17%准确率和0.031的负对数似然（NLL），优于所列基线。
**Efficient Training by Rate-Estimation Method（速率估计方法的高效训练）** ：在相同SBNN架构上比较RE和替代梯度（SG）训练，两者准确率均超过99.0%，但SG训练时间从6.91秒/轮（4时间步）增至112.71秒（64时间步），而RE训练约5.05秒/轮，在64时间步时实现约22倍加速。RE方法避免了存储显式展开的脉冲序列，内存使用对时间步设置的依赖较弱。
**Robustness to Noise and Hardware Constraints（对噪声和硬件约束的鲁棒性）** ：在归一化权重噪声标准差0.20时，标准SNN准确率降至27.42%，而学习随机阈值（SBNN-V）保持96.20%；在输入噪声标准差0.25时，SBNN-V保持81.30%而标准SNN为70.27%。在紧凑架构中，8比特SBNN在隐藏层宽度为10时达到90.84%，与32比特基线模型竞争力相当。
**Bayesian Uncertainty Estimation With SBNNs（SBNN的贝叶斯不确定性估计）** ：突触不确定性随扇入增加驱动膜电位分布趋近高斯行为，而神经元不确定性在不同扇入下维持更大的与高斯参考的偏差和更小的与Lévy α-稳定参考的距离。在旋转MNIST分布偏移下，SBNN比SUQ-MFVI基线具有更高准确率和更低NLL。在 Fashion-MNIST为分布内、MNIST为分布外的检测任务中，SBNN-V达到84.12%的OOD AUROC，优于标准SNN的78.95%和SUQ-MFVI的80.58%。在固定采样预算320下，8时间步实现最低NLL（0.03179）和较低预测熵（0.07509）。
**Hardware-in-the-Loop Validation of the SBNN Using MTJs（基于MTJ的SBNN硬件在环验证）** ：使用784-20-10多层感知机架构在完整MNIST训练集上软件训练，HIL评估使用100张类别平衡测试图像。物理MTJ生成随机神经元输出而参数存储和网络运算在软件中完成。软件和HIL推断均正确分类100张图像中的87张，脉冲率和分类性能高度匹配。混淆矩阵、每类准确率和每类NLL比较显示部署引入的退化极小。
**Robustness to Device-to-Device and Cycle-to-Cycle Variability（对器件间和循环间变异性的鲁棒性）** ：在重建的D2D分布下，共享映射、仅中心校准和全静态校准三种策略准确率均在99.01%左右。D2D开关中心偏移和斜率扫描下，共享映射的平均准确率变化幅度低于0.7个百分点。八个MTJ的重复性测量显示器件内变异系数为0.3%至0.9%，斜率几何标准差为1.01至1.05。在D2D背景上引入C2C波动时，斜率几何标准差从1.1增至2.0使共享映射准确率从约99%降至约90%，全静态校准可缓解此退化。脉冲宽度测量表明较长脉冲使开关转变移向较低电压并收窄有效阈值分布。
**讨论与结论**
研究人员将MTJ的随机开关重新定义为神经形态计算的计算资源而非实现误差，提出了硬件-软件协同设计架构，其中本征器件随机性被建模为神经元不确定性。通过变分推断优化的随机阈值神经元模型在推断时通过神经元阈值采样实现概率计算。SBNN在静态和事件视觉任务中达到有竞争力的性能，在低精度或混合精度配置下实现高准确率和良好校准。RE训练相比SG实现约22倍加速。鲁棒性比较区分了固定分布阈值噪声训练和学习随机阈值的贡献，在评估的扰动下SBNN保持稳健。无后处理校准下，SBNN在OOD检测中优于标准SNN和随机阈值SNN，并在OOD AUROC上超过SUQ-MFVI，尽管SUQ-MFVI在分布内预测指标上更优。该框架将随机源从突触权重转移到神经元阈值，使概率脉冲生成与确定性量化突触权重共存。串行HIL实验证明单个物理MTJ可在SBNN推断过程中生成随机神经元事件，分类准确率和NLL在评估的100图像MNIST子集上接近软件结果。D2D模拟表明共享映射在评估的变异性范围内可保持分类准确率而无需额外器件特定校正。更广泛的意义在于，概率神经形态系统可通过在神经元层面拥抱本征器件噪声来构建，该架构提供了补充现有突触方法的新随机性注入途径。未来工作将探索神经元和突触中不确定性的组合来源、将测量器件响应纳入训练以及评估集成实现在能耗、面积和延迟方面的表现。
