编辑推荐:
奇异值分解(singular value decomposition,SVD)是科学计算、信号处理和机器学习中低秩表示的基础。然而,在存储与计算单元分离的传统冯·诺依曼架构上,SVD的迭代计算能耗极高,对复杂信息处理构成重大挑战。研究人员在此提出了一种基于存内
奇异值分解(singular value decomposition,SVD)是科学计算、信号处理和机器学习中低秩表示的基础。然而,在存储与计算单元分离的传统冯·诺依曼架构上,SVD的迭代计算能耗极高,对复杂信息处理构成重大挑战。研究人员在此提出了一种基于存内计算(compute-in-memory,CIM)忆阻器芯片的忆阻奇异值分解(memristive SVD,MSVD),并通过选择性表示增强架构(selective representation enhanced architecture,SREA)确保跨迭代的数值保真度。研究人员在三个复杂度递增的层级上展示了MSVD:用于图像增强和流行病学数据重建的低秩近似;用户可扩展识别,其中增量式MSVD利用持久的内存存储纳入新用户而无需重新映射现有信息;以及大语言模型权重分解,其中基于MSVD的初始化在数学基准上始终优于标准微调方法。除了达到与软件相当的精度外,SREA相比未增强的MSVD降低了能量开销并加速了收敛,且整个系统在所有展示场景中相比传统硬件在能量效率和速度上均实现了数量级的提升,在增量设置中这些优势随每次更新周期逐步增长。这项工作加速了多种场景下的SVD,并将基于忆阻器的系统扩展到通用计算应用。
低秩表示能够从高维数据中提取关键模式并显著降低计算复杂度,广泛应用于生命科学和信息工程等领域。奇异值分解(singular value decomposition,SVD)提供了数学上最优的低秩近似,保证信息损失最小。然而,随着数据处理从集中式云计算转向分布式边缘设备,资源限制要求更高效率的片上分析。传统基于互补金属氧化物半导体(complementary metal-oxide semiconductor,CMOS)的冯·诺依曼架构将存储与计算分离,SVD的迭代计算需要频繁的数据搬运,导致高能耗和长延迟,且摩尔定律接近物理极限使进一步降低单次迭代能耗变得困难。忆阻器(memristor)存内计算(compute-in-memory,CIM)通过融合存储与计算,利用欧姆定律和基尔霍夫定律进行原位计算,有望大幅降低能耗并提高速度。但SVD采用幂迭代-收缩法,涉及双矩阵迭代和多尺度输出,在忆阻器上实现面临两个挑战:迭代阶段因电导波动导致数值漂移;收缩阶段因映射偏差产生残差分量。为此,研究人员提出了忆阻奇异值分解(memristive SVD,MSVD)及选择性表示增强架构(selective representation enhanced architecture,SREA)来解决这些问题。该研究发表在《Nature Communications》。
研究内容方面,研究人员基于130 nm工艺的自定义忆阻器芯片构建了MSVD系统,通过SREA中的双精度映射(dual-precision mapping,DPM)和向量处理细化(vector processing refinement,VPR)提高数值保真度。在图像增强、COVID-19疫情数据重建、增量用户识别以及大语言模型(large language model,LLM)低秩微调等任务中,MSVD实现了与软件相当的精度,同时相比传统硬件在能量效率和速度上取得数量级提升。该工作加速了多种场景下的SVD,并将忆阻器系统扩展到通用计算应用。
关键技术方法方面,研究人员采用的方法包括:基于TiN/TaOx/HfO2/TiN堆栈的忆阻器芯片,阵列规模为1024×128,支持模拟电导调制;MSVD实现采用幂迭代-收缩法,将数据矩阵和已求解的右奇异向量(right singular vector,RSV)分别存储在忆阻器阵列上,通过迭代的向量-矩阵乘法提取奇异向量。SREA中的DPM将矩阵按位划分为高位部分和低位部分,分别映射到低分辨率和高分辨率忆阻状态,以减少数值漂移;VPR对RSV输入采用更高位宽编码,并对RSV进行空间复制和输出平均,以抑制收缩残差。对于大规模评估,研究使用硬件校准的仿真框架,包含从实际器件测量校准的噪声模型。样本队列来源包括美国51州每周COVID-19住院数据、NinaPro肌电信号数据集、Sleep-EDFx脑电数据集(75名受试者)以及用于LLM微调的MetaMathQA数据集和GSM8K/MATH基准。
研究结果如下。
设计忆阻奇异值分解(Design of memristive singular value decomposition):研究人员设计了MSVD的系统架构,两个忆阻器子阵列分别存储数据矩阵和已求解右奇异向量,在一个迭代循环内同时完成幂迭代和收缩计算。SREA通过DPM和VPR分别缓解数值漂移和收缩残差。实验中测得器件映射偏差σ=0.27 μS,读取波动σ=0.21 μS,表明硬件非理想性需要SREA来保证计算精度。
收敛性表征(Convergence characterization):在IRIS数据集(150×4矩阵)上的实验表明,与未采用SREA的MSVD相比,SREA使奇异值的平均精度提升最高达13倍,右奇异向量元素误差标准差从0.415降至0.192。消融实验显示DPM可最多降低奇异值误差8.0倍,VPR可降低3.4倍。重建误差景观分析表明,DPM和VPR协同作用形成更有效的优化轨迹,二者缺一不可。
低秩近似(Low rank approximation):在256×256的HKU标志图像增强任务中,MSVD与SREA相比软件SVD达到峰值信噪比(peak signal-to-noise ratio,PSNR)31.0 dB和结构相似性指数(structural similarity index measure,SSIM)0.940,比未增强MSVD分别高4.8 dB和0.114。在COVID-19每周住院数据(104×51矩阵)重建中,前两个秩的相关系数达0.999,第三秩为0.995,显著优于无SREA的MSVD。
增量学习(Incremental learning):研究人员提出了增量MSVD框架,利用已有右奇异向量和新数据更新特征提取器,避免重新映射旧数据。在基于NinaPro数据集的肌电(electromyogram,EMG)手势识别中,用户从2人增加到8人,增量MSVD的平均识别准确率为84.01%,比不更新的基线高19.29%。在基于Sleep-EDFx数据集的脑电(electroencephalogram,EEG)睡眠分期中,受试者从15人增至75人,增量MSVD相比不更新基线提高11.07%,性能与软件实现相当。
性能分析与基准测试(Performance analysis and benchmarking):收敛迭代次数与归一化奇异值间隙呈近似线性关系。SREA相比无SREA的MSVD节省48.5%能量、提升48.1%速度;相比图形处理器(graphics processing unit,GPU),在EMG识别任务中能效提升29.9倍、归一化速度提升19.0倍。增量MSVD在用户扩展场景中平均能效比GPU高67.1倍、速度高39.7倍,且优势随更新次数增长,第三次更新时达到89.6倍能效和57.3倍速度。
大语言模型微调中的初始化(Initialization