VCMA-MRAM内存随机采样方法用于边缘玻尔兹曼机的推理 邓学胜， 李月胜， 方斌， 王霖

《Electronics》：VCMA-MRAM In-Memory Stochastic Sampling for Edge Boltzmann Machine Inference Xuesheng Deng, Yuesheng Li, Bin Fang and Lin Wang

　　摘要
在资源受限的设备中，边缘智能往往受到计算与能量权衡的限制。玻尔兹曼机（BMs）具备强大的无监督学习能力，但它们依赖于吉布斯采样，导致数字实现的计算和能量成本都很高。在本文中，我们提出了一种基于电压控制磁各向异性的磁隧道结（VCMA-MTJ）的MRAM系统，该系统能够在受限/深度玻尔兹曼机（RBMs/DBMs）中执行内存随机采样以生成和更新状态。通过利用VCMA-MTJ的固有随机切换特性，所提出的系统实现了每样本仅约10 fJ的低能耗概率采样。该系统部署在基于微控制器的边缘平台上，实现了实时多传感器异常检测，F1分数达到了0.9854，并且运行稳定。所提出的硬件-算法协同设计在单个MRAM单元内实现了现场随机计算和存储，为边缘处的概率推理提供了超低功耗的解决方案。

1. 引言
受限玻尔兹曼机（RBMs）和深度玻尔兹曼机（DBMs）是边缘智能应用中具有前景的生成模型。它们具备强大的无监督学习能力，并且在异常检测方面表现出色。具体来说，它们能够学习正常系统状态的分布，并提取代表性特征以准确识别异常行为[1,2,3]。然而，训练和推理通常依赖于马尔可夫链蒙特卡洛（MCMC）方法——尤其是吉布斯采样——这需要数千次迭代更新以及大规模的矩阵-向量运算。这种迭代和随机采样过程导致了显著的延迟、计算成本和能耗，成为部署在资源受限的边缘设备上的主要障碍。为了缓解这一瓶颈，磁隧道结（MTJs）因其强大的概率计算和内存计算能力而成为了一种有吸引力的硬件原语[4,5,6]。近年来，基于MTJs的磁随机存取存储器（MRAM）作为一种技术平台，由于其非易失性、高耐用性、快速的读写速度和低功耗，被认为是传统嵌入式Flash（eFlash）甚至某些SRAM用例的潜在替代品[7,8,9]。由于玻尔兹曼机本质上依赖于随机采样，MTJs成为了自然的硬件实现者：它们可以通过固有的随机磁化反转产生概率比特，同时通过确定性切换提供非易失性存储，从而将计算和存储紧密耦合在内存中[10]。利用这种随机性，MTJs已被用于基于RBM的数字识别[11]，与FPGA结合作为p比特以在DBMs中实现能效高的推理[12]，以及作为伊辛机（Ising machines）的构建模块用于NP难题，如整数分解[13,14]。在MTJ的变体中，电压控制磁各向异性（VCMA）MTJs特别适用于边缘应用。其主要优势在于电压控制下的概率切换，这使得可以直接和精细地调节采样概率。通过施加电压脉冲来调制自由层的磁各向异性，VCMA-MTJ可以实现每样本超低能耗、更高的运行速度以及相对于其他MTJ更为紧凑和可扩展的单元结构[15]。尽管具有这些显著优势，但在VCMA-MTJ中实现精确的概率比特（p比特）行为需要精确的脉冲生成。由于MRAM阵列中的空间差异以及设备之间的固有变异性，脉冲时的延迟和变化可能导致系统性能严重下降。为了克服这些实际的硬件非理想性并释放边缘处概率计算的潜力，本案提出了一种完整的基于VCMA-MTJ的内存计算系统，采用硬件-算法协同设计方法。通过利用VCMA-MTJ的固有真随机随机切换和非易失性，我们的方法将计算和存储紧密耦合在一起。这种同步范式本质上支持RBM/DBMs所需的吉布斯采样，同时消除了与异步采样相关的严重静态能量泄漏，并绕过了传统冯·诺依曼架构的延迟瓶颈。此外，为了确保可靠的物理操作，我们集成了一种片上可配置的脉冲发生器，并应用了一种基于聚类的校准方法来抑制由变化引起的误差。

本文的主要贡献如下：
- **MRAM设计与能效**：我们设计了一种基于192 Kbit VCMA-MTJ的MRAM宏，采用同步、可配置的脉冲电压方案。通过避免异步架构的连续静态泄漏，所提出的存储器实现了超低功耗的概率采样。其固有单元能量约为10 fJ，每次更新的宏观级能量约为30.8 pJ。与纯软件PRNG实现和异步硬件基线相比，这实现了1到2个数量级的能量降低。
- **架构与电路设计**：我们提出了一种专为边缘设备上的生成概率模型设计的硬件-算法协同架构。通过集成片上可配置的脉冲发生器，该系统能够执行高精度的电压控制内存随机采样。这本质上将模型状态保留于非易失性存储器中，完全消除了传统数字系统所需的繁杂数据传输和布尔逻辑计算成本。
- **系统级验证与校准**：我们建立了一个端到端的硬件原型，集成了微控制器（MCU）和制造的VCMA-MRAM芯片，用于执行多传感器异常检测任务。为了应对设备间的固有变异性，我们引入了基于聚类的校准步骤；消融控制实验确认该方法有效地抑制了系统性误报，将硬件F1分数恢复到0.9854，并显著优于伪随机软件基线，这得益于无关联的真随机性。

2. 背景
2.1. VCMA-MTJ的概率翻转特性
图1a展示了VCMA-MTJ的示意结构。其自由层的磁化切换通过电压控制磁各向异性效应来调节，从而实现概率切换行为[16,17,18,19]。图1b描述了在不同幅度电压脉冲下的切换概率。切换概率对脉冲电压呈S形依赖关系（图1c）。数据用数学表达式y=11+e^(-（αx+β)来拟合，得到α=7.99和β=-10.68，拟合误差为τ=2.6×10^-3。
- （a）VCMA-MTJ器件结构的示意图以及说明电压诱导随机切换的能量 landscape。
- （b）在0.5-ns电压脉冲下MTJ的测量时域随机切换。
- （c）切换概率与电压的关系用S形函数拟合，得到α=7.99和β=-10.68。这种电压可调的概率切换使VCMA-MTJ能够直接实现玻尔兹曼机所需的伯努利采样。具体来说，隐藏单元和可见单元的采样条件概率分别为p?(??=1|??)=Σ?=1[???????]和p?(???=1|?)=Σ?=1[???????]，其中???和??分别表示第i个可见神经元和第j个隐藏神经元的状态；α?和β?是相应的偏置；????是权重；ζ(·)是S形函数。
为了在硬件中有效执行这一过程，我们将算法激活函数直接映射到物理器件上。利用神经元状态的二进制性质（???,?? ∈{0,1}），MCU简单地累积对应于活跃神经元的权重。这个总和被线性缩放并通过DAC作为物理编程电压脉冲(???)施加到目标VCMA-MTJ。由于器件的固有翻转概率自然遵循S形曲线（方程（1）），MTJ无缝地充当了一个随机硬件神经元。其脉冲后的磁化状态直接代表了神经元的采样二进制状态（‘0’或‘1’）。因此，物理采样操作直接实现了方程（2）中的正相位p?(? | ??)，而方程（3）中的重构相位p?(?? | ?)则是通过根据隐藏层状态调整施加电压来实现的。

2.2. MRAM结构
图2展示了所提出的VCMA-MTJ MRAM芯片的宏组织。总存储容量为192 Kbit，由一个6 × 8网格的局部阵列（LA） tile组成，每个tile包含一个64 × 64的位单元阵列。
- **顶层宏观架构**：在宏观层面，架构被功能性地划分为三个区域。
- （1）全局控制块（MCTRL）负责指挥命令解码和操作序列化，并配置片上脉冲发生器的写入/读取定时。脉冲发生器的脉冲宽度误差严格控制在0.05 ns以内，确保了定时的高精度并最小化了写入和读取操作的误差。
- （2）外围电路集成了读/写（R/W）驱动器和I/O接口，并通过全局分布网络向内存核心提供所需的电学条件，包括全局字线控制（GWL）和全局线网络（GSL/GBL）。
- （3）核心区域由全局解码器和外围驱动器访问的LA tile矩阵组成。

图3详细展示了LA tile的结构。除了64 × 64的位单元阵列外，每个tile还包含一个局部WL/zWL缓冲器，用于生成访问设备的互补字线控制，以及一个局部数据线多路复用器（Local DL Mux），该多路复用器将选定的列与外围R/W驱动器连接起来。这些局部电路通过将高容量全局路由限制在tile边界内来实现可扩展的铺设，并在本地执行最终选择和信号调节。

3. 系统架构与网络部署
3.1. 系统设计概述
为了模拟基于MRAM的嵌入式控制系统，我们采用了图4a所示的架构。MCU通过数据总线和地址总线与MRAM芯片接口，并通过DAC提供可调的写入电压。
- **原型硬件实现**：图4b和c分别提供了原型的硬件实现，包括MCU–MRAM测试板和制造的芯片的放大显微镜图像。为了阐明MCU和MRAM在推理过程中的实际交互，操作工作流程被分为以下关键阶段：
- （a）系统架构。
- （b）整个硬件系统集成在单个PCB上，包括MRAM和MCU。
- （c）MRAM的放大显微镜图像。

- **配置阶段（写入模式）**：MCU初始化系统或加载输入数据。通过将DAC设置为高写入电压（2.4 V），VCMA-MTJ的状态被确定性设置以表示初始的可见层或隐藏层配置。
- **随机采样阶段（采样模式）**：在推理过程中，MCU检索当前层的二进制状态（0或1）。利用二进制状态特性，MCU执行相关权重的轻量级累积，而不是密集的矩阵-向量乘法。这个总和被映射到一个采样电压，并以0.49 ns的脉冲形式施加。然后VCMA-MTJ通过其随机切换在内存中执行“采样”操作，有效地生成下一层的状态。
- **状态检索阶段（读取模式）**：通过低电压（0.4 V）读出电路感知VCMA-MTJ的更新状态。比较结果反馈给MCU，以更新网络状态或进行下一次吉布斯采样。
如表1所总结的，每个MRAM地址可以在这三种核心模式之间无缝切换，以执行完整的概率算法。

3.2. 使用MRAM的RBM/DBM实现
RBM和DBMs由一个可见（输入）层和一个或多个隐藏层组成。它们没有层内连接，而层间连接是全连接的，并且在需要时可以剪枝。关键区别在于DBMs包含多个隐藏层，能够表示更复杂的模式。如图5所示，MCU获取的输入数据被映射到可见层，该层通过VCMA-MRAM阵列驱动第一个隐藏层进行内存采样。每个MTJ被作为一个神经元进行寻址，并根据其S形电压-概率特性执行随机采样；采样的状态自然存储为MTJ的磁化状态。这种采样可以在多个地址上并行执行，其中每个地址Addr[??](?? =0,1,2,…)对应一个MTJ设备（即一个隐藏层神经元）。在训练过程中，可见层样本也可以存储在MRAM中以支持重建。因此，RBM/DBM的操作需要MCU依次从当前隐藏层的地址空间读取采样状态，并向与下一层相关联的地址发出采样命令。虽然这个原型评估的是RBM，但RBM实际上作为DBM的核心功能单元。由于逐层随机采样过程在物理上是相同的，当前的硬件验证有效地展示了该平台扩展到更复杂的Boltzmann架构的能力。图5展示了RBM/DBM网络示意图，显示了可见层和隐藏层之间的完全连接性，其中隐藏神经元存储在MRAM中。

3.3. 用于性能优化的聚类分析
为了在VCMA-MTJ中实现低WER（错误率）和准确的P位行为，精确的脉冲生成至关重要。然而，由于MRAM阵列中的空间差异以及设备之间的差异性，脉冲延迟和变化可能导致采样错误，从而影响系统性能。现有的基于差异性的技术，如迭代写入和验证循环或全局电压保护带，通常会在运行时产生严重的延迟和能量开销。为了在不牺牲效率的情况下解决这个问题，我们应用了一种基于设备测量的Sigmoid电压-概率特性的离线聚类方法。根据元素的内在物理或光谱相似性对它们进行分组，以对抗噪声和变化，这在复杂的鲁棒系统中是一种经过验证的策略。例如，先进的聚类技术如增强亲和力传播聚类（EAPC）已被成功用于根据内在特征对数据进行分组，从而减轻了变异性的影响，并提高了噪声频谱成像系统中的分类性能[20]。受这一基本原理的启发，我们根据设备的固有控制参数（如（??,|??|）对阵列中的设备进行分组，这些参数描述了它们特定的Sigmoid曲线行为（图6）。图6显示了将设备分为两组G1（紫色点）和G2（黄色点），各自的质心分别为（7.61, 9.83）和（5.90, 7.52）。由于这种校准是在系统初始化期间一次性离线完成的，它为每个特定组分配了优化的基线控制参数，而不会对后续的硬件训练和推理阶段增加任何延迟或计算开销。这种聚类方法有效地减少了设备间变异性的影响。通过根据聚类设备的特性动态调整控制参数，它提高了基于MRAM的系统的整体可靠性和效率，即使在存在变异性的情况下也能保持高性能。

4. 结果与讨论
4.1. 实验设置和软件基准
在对VCMA-MTJ进行电气特性分析和参数分组校准后，我们将RBM部署在基于MRAM的硬件平台上，以实现实时传感器处理和房间占用异常检测。系统接收多维环境传感器数据流，并进行在线推理以区分占用状态（“已占用” vs “未占用”）（图7a）。实验使用了公共的房间占用估计数据集[21]，该数据集提供了温度、湿度、光照和CO2等测量值，适用于占用识别。图7。(a) 多传感器房间占用检测平台示意图：MCU预处理后的多传感器数据被输入到RBM中，MCU计算RBM输出与输入之间的重建误差。(b) 数据预处理流程。为了匹配Boltzmann机器中的二进制神经元，连续的传感器值使用基于阈值的编码进行离散化。三个阈值（10%、45%和80%）将每个传感器读数映射为3位代码，将16个传感器通道转换为48维的二进制输入向量（图7b）。这种表示方式自然与MRAM的二进制存储兼容。隐藏层包含24个单元，以匹配已表征的MTJ阵列。处理流程包括：传感器采集、二值化、RBM重建、重建误差评估以及根据误差是否超过预设阈值来决定占用状态；然后推断出的状态会触发MCU执行相应的场景模式。

为了在实际硬件随机采样情况下对RBM进行基准测试，我们首先在标准宿主PC上执行了RBM训练和推理，建立了理想的软件基准。软件模型配置了24个隐藏单元。模型使用对比散度（CD-1）算法进行训练，学习率为0.01，进行了60次迭代。此外，由于隐藏层采样引入了随机性，我们在测试集上重复推理了200次，以分析评估指标的分布（平均值和标准差）。如表2所示，随机采样并没有显著降低稳定性；F1分数的标准差在多次运行中为0.0017。这种一致性表明RBM推理对采样引起的变化具有鲁棒性。

4.2. 在硬件上的结果
为了评估我们提出的架构的实际可行性，我们直接在硬件平台上执行了完整的RBM训练和推理。在推理阶段，MCU依次从MRAM阵列中获取测试样本作为可见层输入。然后，它利用VCMA-MTJ阵列的固有随机性来协调隐藏层的Gibbs采样更新。一旦内存中的采样完成，MCU计算每个样本的重建误差（均方误差MSE）。如图8a所示，异常检测由一个动态阈值控制，该阈值是根据训练阶段观察到的最大重建误差的98%经验性设定的。因此，低于此阈值的测试样本被分类为正常（“未占用”），而超过阈值的样本则被标记为异常（“已占用”）。最后，MCU汇总这些分类结果，并将混淆矩阵传输到宿主PC进行性能评估。图8。(a) 在训练集上重建误差的分布以及设定为最大误差98%的异常决策阈值。(b) 基于硬件的性能指标与软件模拟的性能指标的比较。在新兴的非易失性存储器阵列上执行可靠的概率推理的一个关键挑战是管理设备间的固有差异。为了定量证明我们提出的聚类分析的必要性，我们直接在物理MRAM阵列上进行了深入的消融控制实验，如图8b所示。在未校准的基准情况下，设备差异（之前在图6中表征）未得到补偿，所有VCMA-MTJ都均匀地应用了一个全局平均控制电压。实验测量显示，在这种简单的方案下，系统整体效用严重下降，F1分数降至0.9237。有趣的是，这种下降表现为精确度（0.8642）的急剧下降，同时召回率（0.9920）略有增加。这种反直觉的现象在数学上反映了底层硬件物理特性：未补偿的设备差异在Gibbs采样过程中表现为持续的系统性噪声。这种噪声人为地增加了所有输入的基线重建误差。结果，未校准的系统变得过于敏感，错误地将许多正常状态标记为异常（导致精确度大幅下降），尽管几乎没有遗漏任何真正的异常（保持了高的召回率）。

为了减轻这些由硬件引起的误报，我们应用了基于聚类的校准方法。通过根据设备测量出的物理特性对设备进行分组，并为每个簇分配定制的基线控制参数，有效地抑制了由变化引起的系统性采样误差。如图8b所示，校准后的硬件系统成功地将精确度恢复到0.9920，并实现了令人印象深刻的整体F1分数0.9854。值得注意的是，这种物理硬件性能略微优于理想的软件基准（准确度：0.9941，精确度：0.9894，召回率：0.9789，F1分数：0.9841）。这一物理上的显著结果可以归因于熵来源的根本差异：软件算法依赖于受隐藏周期性和时间相关性影响的伪随机数生成器（PRNG），而我们的硬件利用了VCMA-MTJ的真实随机热噪声。这种无相关性的高质量物理随机性使得在Gibbs采样过程中能够更有效地探索状态空间，使硬件网络能够摆脱局部最小值，产生更优秀的生成推理。最终，这验证了战略性校准的自旋电子阵列不仅可以匹配，还可以积极增强概率机器学习工作负载。

4.3. 能量消耗分析
评估能源效率对于资源受限的边缘智能系统至关重要。为了对我们提出的范式进行严格评估，有必要区分内在的存储器计算宏能量和片外原型开销（例如，离散的MCU、DAC和PCB走线）。后者是当前离散测试平台的产物，在完全集成的系统级芯片（SoC）中将被消除。在这种自定义实现中，通用的外部DAC将被与脉冲生成器共同设计的超低功耗、低分辨率嵌入式DAC所取代。因此，我们的分析集中在核心阵列和宏观层面上，其中分配给脉冲生成器的5.1 pJ明确考虑了这种优化的片上数字-to-模拟转换开销。为了准确量化宏观层面的效率，我们进行了全面的电路级功率分解。在设备层面，内在的采样能量主要由应用于VCMA-MTJ单元的亚纳秒电压脉冲主导，其非常低，计算约为每个样本10 fJ。当扩展到整个MRAM宏时，必须考虑片上外围电路的动态功率。如图9a所示，能源分解显示全局解码器、局部数据线多路复用器和可配置的脉冲生成器分别消耗12.4 pJ、13.3 pJ和5.1 pJ。因此，在1.2 V的标称核心电压下，每次随机更新的总能耗分析得为30.8 pJ。此外，如图9b所示的动态能量缩放定律（?? ∝??2??3）所表明的，这种宏观层面的能量高度依赖于供电电压，这在先进技术节点中提供了进一步的优化空间。

5. 结论
在这项工作中，我们提出了一种硬件-算法协同设计范式，利用电压控制磁隧道结（VCMA-MTJ）作为高效概率计算的内在本熵源。为了克服新兴非易失性存储器通常存在的设备间固有差异，我们引入了一种基于聚类的校准方法。我们的物理控制实验表明，未进行补偿的硬件差异会形成系统噪声，人为地增加重建误差并严重降低系统精度。然而，通过根据设备的物理特性对它们进行分组并分配定制的控制参数，我们校准后的硬件有效抑制了这些由差异引起的误报。所提出的校准方法成功将系统的F1分数恢复到了0.9854，使物理硬件性能与理想的软件基准线保持高度一致。此外，我们还全面量化了所提出的同步MRAM宏模块的能效。通过替换耗电较大的布尔逻辑电路，并消除异步物理采样带来的大量静态漏电流，该架构将宏模块级别的能耗降低到了每次随机更新约30.8皮焦耳。与纯软件伪随机数生成器（PRNG）实现和异步硬件基准相比，这种架构的能耗降低了1到2个数量级。最终，这项工作证明了通过对VCMA-MTJ阵列进行战略性校准和集成，可以实现高效且抗干扰的内存Gibbs采样，为资源受限的边缘设备上的先进能量驱动机器学习技术铺平了道路。