《Electronics》:Optimization Trade-Offs in Memristor-Based Crossbar Arrays for MAC Acceleration
Hassen Aziza,
Hanzhi Xun,
Moritz Fieback,
Mottaqiallah Taouil and
Said Hamdioui
编辑推荐:
本文针对人工智能负载中占主导的向量-矩阵乘法(VMM)操作在传统冯·诺依曼架构上存在的“内存墙”问题,探索了基于电阻式随机存取存储器(RRAM)的交叉阵列用于加速VMM计算的硬件实现方案。研究人员通过评估三种权重/偏置映射场景(PWO、PNWO、PNWB),在考虑器件电导范围限制和变异性的情况下,系统分析了其分类精度、能效、延迟和面积开销之间的权衡关系,为RRAM基神经网络硬件设计提供了关键优化见解。
在人工智能(AI)浪潮席卷全球的今天,深度学习模型的算力需求正以前所未有的速度增长。然而,支撑这些模型的传统计算架构——冯·诺依曼架构,正日益暴露出其固有瓶颈。该架构将处理单元与存储器物理分离,当执行深度学习的核心计算操作,即向量-矩阵乘法(VMM,由大量的乘积累加运算MAC构成)时,数据需要在处理器和内存之间频繁搬运。这种“搬运”过程不仅消耗了大量能量,更因内存带宽的增长速度远落后于处理器性能的提升,形成了一道难以逾越的“内存墙”,严重制约了AI硬件的能效和速度。寻找能从根本上突破这一瓶颈的新型计算范式,已成为学术界和工业界的迫切任务。
存内计算(In-Memory Computing)正是在此背景下应运而生的颠覆性理念。它主张将计算直接移到数据存储的地方进行,从而避免耗时的数据搬运。其中,电阻式随机存取存储器(RRAM)因其独特的性质脱颖而出。RRAM是一种可以通过电压调控其电阻状态的忆阻器件,其非易失、可编程的电导(电阻的倒数)特性,使其能够非常自然地模拟生物神经网络中突触的权重。更巧妙的是,多个RRAM单元可以组织成类似围棋盘的交叉阵列结构。在这个阵列中,输入电压施加在行线上,权重值被映射为每个交叉点RRAM单元的电导值,而列线上汇集的总电流则天然地等于电压与电导乘积之和,即一次性地、并行地完成了整个VMM计算。这为实现高能效、低延迟的AI硬件加速器提供了极具希望的路径。
尽管前景广阔,但将RRAM交叉阵列真正用于神经网络计算仍面临诸多现实挑战。首先,RRAM器件的电导值范围有限,且在实际制造和使用中存在显著的器件间差异和循环间波动,这些不完美的“非理想特性”会如何影响神经网络的最终分类精度?其次,为了在硬件上表示软件训练得到的权重和偏置,存在不同的映射策略,例如,是否允许负权重、是否引入偏置项。这些不同的硬件实现方案,在精度、能耗、面积等方面会呈现出怎样的权衡关系?为了理清这些关键问题,指导高效的RRAM神经网络硬件设计,由Hassen Aziza, Hanzhi Xun, Moritz Fieback, Mottaqiallah Taouil 和 Said Hamdioui组成的研究团队在《Electronics》期刊上发表了他们的最新研究成果。
研究人员为了系统评估RRAM基神经网络的硬件实现,采用了一套严谨的研究方法。首先,他们对实际制造的1T-1R(一个晶体管串联一个RRAM)结构RRAM器件进行了电学表征,测量了其高阻态(HRS)、低阻态(LRS)以及通过栅压(VWL)调控SET合规电流(Icc)实现多级电导(MLC)的能力,并量化了其器件变异特性。其次,他们设计并训练了一个用于手写数字识别的两层全连接神经网络(20输入,10输出),并在软件层面生成了三套不同的参数:仅正权重(PWO)、正负权重(PNWO)、以及正负权重加偏置(PNWB)。接着,他们将这些训练好的参数通过线性变换映射到RRAM交叉阵列的电导值上。最后,在Cadence Virtuoso仿真平台中,他们对一个20×10的1T-1R交叉阵列进行了电路级仿真,执行VMM推理,并系统评估了不同映射方案在分类精度、能效、延迟和面积方面的表现,同时考虑了RRAM器件变异性和有限电导范围的影响。
4.1. Hardware Simulation Setup
仿真基于经过硅片测量校准的RRAM紧凑模型,并引入了与实验数据匹配的变异性。对于负权重和负偏置的表示,研究采用了差分编码方案,即使用两列RRAM单元(分别代表正、负分量)和两行额外的偏置行来实现。输入像素值(0-255)被归一化并映射为0-0.3V的电压施加到阵列行线,以避免在推理过程中改变RRAM状态。
4.2. Simulation Results
在无器件变异的理想仿真条件下,三种硬件实现方案(PWO, PNWO, PNWB)在测试集上均实现了100%的软件模拟匹配精度,验证了硬件映射的正确性。从输出电流(对应网络logits)的分布看,PNWO和PNWB方案由于引入了负权重,使得非目标类别的输出多为负值,从而与目标类别(正值)形成了更清晰的区分,表现出更高的预测置信度。
4.3. Result Analysis
通过计算平均边际置信度(MCavg)这一量化指标,研究发现PNWO和PNWB方案的置信度显著高于PWO方案。然而,高性能的代价是硬件开销的增加。具体分析表明:PWO方案能效最高(189 fJ/MAC),面积开销最小,但分类置信度最低;PNWO和PNWB方案虽然能大幅提升分类置信度(分别提升177%和180%),但其能耗也相应增加了63%和87%,面积更是分别扩大至2倍和2.1倍。
5. Influence of RRAM Variability on ANN Performance
在引入实际的RRAM器件变异性后,三种方案的性能发生了重要变化。PWO方案表现出了出人意料的鲁棒性,其分类精度达到了94.65%,反而高于PNWO的93.11%和PNWB的92.11%。分析认为,这主要是因为PWO方案仅使用正电导值,其映射对电导值的绝对变化相对不敏感;而PNWO和PNWB方案依赖于正负电导值的精确匹配,对器件变异导致的电导值波动更为敏感,从而更容易出现计算误差。
本研究通过系统的硬件-软件协同设计与仿真,深入揭示了基于RRAM交叉阵列实现神经网络时所面临的核心优化权衡。研究得出结论:在RRAM交叉阵列上实现神经网络并不存在“唯一最优”的硬件映射方案,而需要在精度、能效、面积和鲁棒性之间进行谨慎权衡。当追求极限能效和最小面积时,仅使用正权重的PWO方案是合适的选择,尤其在考虑器件实际变异性的情况下,它甚至能表现出更好的精度鲁棒性。而当应用场景对分类置信度和精度有极高要求,且能容忍一定的硬件开销时,引入正负权重的PNWO或PNWB方案则能提供更优的性能。此外,研究明确指出了RRAM器件变异是影响硬件神经网络性能的关键因素,未来的器件优化和电路设计必须着力于降低变异或提高系统对变异的容忍度。这项工作为RRAM存内计算加速器的实际设计与优化提供了宝贵的定量依据和清晰的指导思路,推动了该技术从实验室原型走向实际应用的进程。