基于商用V-NAND闪存本征高斯权重采样的硬件兼容无额外存储贝叶斯神经网络

《Advanced Intelligent Systems》：Vertical NAND Flash Memory-Based Bayesian Neural Networks With Intrinsic Gaussian Weight Sampling

　　

贝叶斯神经网络（Bayesian neural networks, BNNs）相比确定性网络提供改善的鲁棒性和校准良好的不确定性估计，但其硬件实现仍具挑战，因为高斯权重采样通常需要随机数发生器、显著的内存开销或额外电路。在此，研究人员实验表征了商用垂直NAND（vertical NAND, V-NAND）闪存，并表明无需修改原生阵列结构即可实现完全硬件兼容的BNN。研究人员证明，尽管单个经增量步进脉冲编程（incremental-step-pulse-programming, ISPP）的V-NAND单元呈现非高斯电导分布，但相邻单元之间的差分电流自然形成零均值高斯分布。这些高斯权重的方差可仅通过读取电压调节，不引入额外存储或外围电路。使用这种硬件感知映射，研究人员在ResNet-34分类器之上构建贝叶斯最后层，并在Tiny-ImageNet-C数据集上通过硬件校准仿真进行评估。所得V-NAND BNN在严重损坏下相比确定性对应物实现了高达9.0%点的准确率提升，同时具有增强的校准、接收操作特征（receiver-operating-characteristic, ROC）/精确率-召回率（precision–recall, PR）性能以及认知和偶然不确定性（epistemic and aleatoric uncertainty）的分离。这些结果确立了V-NAND闪存作为面向不确定性感知存内计算的实用且可扩展平台，并为硬件BNN提供了蓝图。

现代机器学习系统依赖深度神经网络完成视觉、自动驾驶和医学诊断等复杂感知与决策。其成功来自大规模并行和强非线性表示，但传统冯诺依曼计算在物理分离的存储与处理单元间反复搬运数据，形成存储带宽瓶颈，能耗和延迟受数据移动支配。神经网络计算天然适合存内处理，可在存储阵列内完成乘累加。然而，多数神经网络是确定性的，只给单点预测，缺乏不确定性量化。在自动驾驶等安全关键场景中，模糊天气、传感器故障或对抗扰动不可避免，确定性网络易过度自信、校准差且对分布偏移脆弱。贝叶斯神经网络（BNNs）将每个权重视为从数据学习的概率分布，训练推断权重后验，推理时对后验权重样本平均，蒙特卡洛（Monte Carlo, MC）过程可估计输入噪声导致的偶然不确定性和模型知识不足导致的认知不确定性，因而更稳健、更抗过拟合、校准更好。但硬件实现困难：需存储每个权重的均值和方差，还要低能耗、低面积地重复采样高斯分布。数字系统用伪随机发生器和变换方法合成高斯随机数，逻辑和带宽昂贵；模拟和存内方法可借助器件噪声，但需塑造成高斯并集成到可扩展矢量-矩阵乘法（vector-matrix multiplication, VMM）织物中。已有硬件BNN方案存储多个预生成高斯分布或每采样步骤重编程，前者存储开销大，后者速度下降和耐久性问题。垂直NAND（V-NAND）闪存有高比特密度、低成本和成熟工艺，其堆叠字线支持大权重矩阵，ISPP支持多电平电导调节，但传统ISPP编程产生非高斯阈值电压或电导分布，阻碍BNN硬件实现。为此，研究人员提出差分单元配对，使相邻单元电导差形成零均值高斯，方差仅由读取电压调，无需额外存储和外围电路。

研究人员实验表征商用SK hynix V-NAND，构建基于差分位线配对的硬件高斯权重采样，在ResNet-34上实现贝叶斯最后层，并在Tiny-ImageNet-C硬件校准仿真评估。结果显示严重损坏下准确率提升至多9.0%点，改善校准、ROC/PR和不确定性分离，证明V-NAND可作为不确定性感知存内计算平台。

关键技术方法方面，研究人员以SK hynix商用V-NAND为实验对象，器件含一百多层垂直堆叠字线（word-line, WL）；电学测量在探针台上用Keysight B1500A半导体参数分析仪和B2201A开关矩阵完成。编程采用增量步进脉冲编程（ISPP）和增量步进脉冲擦除（incremental-step-pulse-erasing, ISPE），权重以相邻位线（bit-line, BL）差分电流编码。推理时输入由脉冲宽度调制（pulse-width-modulation, PWM）产生，位线电流由模数转换器（analog-to-digital converter, ADC）积分数字化，实现VMM。算法使用PyTorch实现ResNet-34，最终全连接层替换为变分贝叶斯线性层，后验q(w)=N(μ, σ²)，先验p(w)=N(0, 1)，以证据下界（ELBO）训练。数据为Tiny-ImageNet-C，含200类、每类50图和15种损坏、5个严重度；仅严重度1训练，严重度2–5测试，测试时取10个MC样本。

2.1 基于V-NAND闪存的神经网络架构：每BL与漏极选择线（drain-select-line, DSL）定义V-NAND串，堆叠WL定位单元；每个权重为相邻BL两个单元电导差，差分编码；WL对应权重层，通过串电流求和做VMM，选中WL加V_Read，非选中加V_Pass，I_BL=ΣG_i·V_input,i，ADC数字化。

2.2 ISPP编程V-NAND单元电导分布：对128个单元用ISPP编程，V_Step小则集中，大则展宽；V_th均值从0.57 V到0.69 V，标准差从0.059 V到0.121 V；I_BL分布随V_Read和V_Step增宽；Q-Q图显示右偏；18个条件仅12个通过Shapiro-Wilk正态检验，说明ISPP本身不能保证高斯。

2.3 差分单元配对形成高斯电导分布：I_BLm?I_BLn差分电流分布更对称，均值近零，标准差随V_Read先增后减饱和；Q-Q图近线性；所有18个V_Step–V_Read组合通过Shapiro-Wilk检验；25–85°C下9/9通过，说明差分配对提供稳健高斯化。

2.4 使用V-NAND闪存实现BNN：μ存于WL差分对，σ存于DSL差分对，DSL不存用户数据，无额外存储；Step 1读μ得确定性VMM均值；Step 2同时读所有DSL，不同V_STD产生零均值高斯扰动并加至均值；σ由V_STD数字选择，单编程态产生连续扰动；置换映射生成独立样本，无需专用随机数电路。μ单元用ISPP+ISPE且V_Step=0.1 V，σ单元仅ISPP且V_Step=0.5 V。

2.5 V-NAND BNN仿真结果：在Tiny-ImageNet-C上，ResNet-34确定性版和贝叶斯最后层版，10 MC；训练严重度1，测试2–5；V-NAND BNN在最高严重度准确率超确定性对应物至多9.0%p；10 MC时读操作仅增59.3%；严重度5 ROC-AUC从0.987到0.993，PR-AP从0.813到0.881；总熵、偶然和认知熵随严重度单调增加；分布外（out-of-distribution, OOD）样本认知熵显著更高，确定性模型无法表达。

2.6 先前硬件BNN实现基准：与TaO_x/HfO_x RRAM、MoS₂ memtransistor、磁隧道结（magnetic tunnel junctions, MTJs）、HfO₂ memristor、VO₂、Fe-diode比较；多数依赖循环间（cycle-to-cycle, C2C）编程变化或读电流波动，每个器件单一噪声强度，需要多个编程分布或额外随机源，存储开销；本工作重用未用DSL为σ噪声源，无额外存储，所有DSL共享单一ISPP状态，通过V_STD实现每权重多σ控制。

讨论部分总结：研究人员证明商用V-NAND无需修改阵列或额外内存即可作为BNN硬件基底；差分BL配对产生内征高斯化，标准ISPP/ISPE和未用DSL表示均值和方差；σ通过读偏置调，不需多高斯分布，消除主导内存开销；硬件校准评估证实鲁棒性、校准、不确定性量化改善，严重损坏下准确率增益达9.0%p。额外读操作相对有限，10 MC仅增59.3%，但重复采样仍增加延迟和能耗，未来可用不确定性自适应采样、早停、部分重用中间读出降低阵列访问。翻译研究结论部分：总体而言，所提出的方法确立了V-NAND闪存作为面向不确定性感知存内计算的实用且可扩展平台，同时突出了在未来设计中进一步降低开销和提高效率的明确途径。