面向忆阻器阵列卷积神经网络的能量感知扰动优化

《Advanced Intelligent Systems》：Energy-Aware Perturbation Optimization for Memristor-Array Convolutional Neural Networks

　　

忆阻器计算为实现高能效神经网络推理提供了一条有前景的路径，但其实际效率受到密集的交叉阵列（crossbar）计算以及模数转换器（Analog-to-Digital Converter, ADC）所需的宽输出电流范围的限制。在此，研究人员提出了一种能量感知扰动框架，以共同缓解这些瓶颈。所提出的方法结合正弦扰动编码（Sinusoidal Perturbation Encoding, SPE）与双阈值筛选（Dual-Threshold Screening），重塑层输入，抑制由冗余主导的激活值，并减少脉冲驱动的交叉阵列活动及ADC输入范围。为了实际部署，采用一种低成本的逐层贝叶斯搜索策略在小型子集上离线优化扰动参数，随后在推理期间固定这些参数。研究人员开发了一款8 kb（64×128）的1T1R忆阻器阵列芯片及硬件平台用于验证。在硬件实现的MNIST卷积神经网络上，该框架将输出电流范围压缩了2.02倍，同时准确率仅从95.4%有限下降至93.8%。额外评估表明，在ResNet-18/CIFAR-10和VGG-16/CIFAR-100上系统能耗分别降低了26.55%和26.90%，准确率损失分别为1.94%和1.80%。在关键词 spotting（Keyword Spotting, KWS）任务中，选择性扰动将输出电流范围压缩了3.4倍，交叉阵列能量降低了69.4%，而准确率从88.7%变化至87.2%。

研究背景方面，忆阻器阵列（Memristor-array）计算作为在严格能耗与面积约束下部署卷积神经网络（Convolutional Neural Networks, CNNs）的一种有前景的硬件范式，通过直接在交叉阵列内执行矩阵向量乘法，能大幅缓解传统冯·诺依曼架构中的数据移动瓶颈，同时为边缘推理提供高并行性。尽管具有架构效率优势，但实际忆阻CNN系统的总能耗仍受外围转换电路和阵列级开关活动的强烈影响。在比特串行电压脉冲输入的位串行输入方案中，激活码中活跃比特数直接决定施加于交叉阵列的有效电压脉冲数，且相关输入激活会拓宽阵列外围的列电流分布，从而增加ADC需覆盖的动态范围。ADC在代表性忆阻神经网络计算系统中约占芯片面积的75%和总功耗的88%，交叉阵列本身也占较大功耗比例。近期研究主要从输入侧随机编码和电路架构级ADC优化两方面减少开销，但前者引入额外脉冲且未联合优化，后者未直接抑制交叉阵列输出的输入诱导电流累积。因此，需从输入侧联合减少交叉阵列计算并放宽ADC动态范围需求。

研究人员开展了一种面向忆阻器阵列CNN的能量感知扰动框架研究，得出该框架能联合降低交叉阵列计算与ADC相关动态范围需求、在有限精度损失下显著节能等结论，具有重要意义，该论文发表在《Advanced Intelligent Systems》。

作者开展研究用到的主要关键技术方法包括：采用正弦扰动编码结合双阈值筛选机制重构层输入；采用低成本逐层贝叶斯搜索策略离线确定扰动参数；基于64×128的1T1R忆阻器阵列芯片及硬件平台进行验证，同时在ResNet-18/CIFAR-10、VGG-16/CIFAR-100及关键词 spotting任务上通过设备模型仿真进行评估，优化子集含300样本，评估子集MNIST为3000样本、KWS为2000样本。

研究结果部分，保留小标题并说明如下：

2.1 Perturbation Principle and Dual-Threshold Screening，研究人员通过正弦扰动编码生成有界连续目标码，经局部低种群计数（popcount）码选择得最终离散码，结合双阈值筛选机制，以激活码阈值抑制低幅值码、种群计数阈值避免低脉冲缩减潜力码，仅对高收益激活码应用扰动，从而从输入侧降低有效交叉阵列计算并收缩ADC输出端电流分布。

2.2 Layer-Wise Parameter Search Strategy，研究人员采用逐层参数搜索策略，对各层按顺序优化而非联合优化，以振幅A_l、相位φ_l、激活码阈值T_l及种群计数阈值T_l^pop为参数元组，采用贝叶斯优化与期望改进采集准则进行搜索，在小型优化子集上离线搜索后固定参数用于推理，降低搜索复杂度并支持仅扰动部分层。

2.3 Hardware Platform and Memristor Characterization，研究人员基于TiN/TaO_x/HfO_x/TiN电阻切换堆叠与选择器晶体管集成的1T1R忆阻器阵列芯片，搭建含FPGA控制板与外设接口电路的硬件平台，通过闭环电导编程流程将训练权重转为目标电导值以差分形式映射到忆阻器单元，表征器件具典型双极电阻切换行为与可重复模拟切换特性，支持单器件与阵列级操作两种模式。

2.4 Multilayer Evaluation Across CNN Architectures，研究人员在MNIST CNN硬件验证及ResNet-18/CIFAR-10、VGG-16/CIFAR-100设备模型仿真中评估，MNIST CNN三层脉冲计数减少达56.2%、31.4%、46.4%，阵列能耗相应减少56.2%、32.1%、46.6%，输出电流范围压缩2.02倍，准确率从95.4%至93.8%；ResNet-18/CIFAR-10交叉阵列能耗降37.19%、ADC侧降39.39%，准确率从92.80%至90.86%；VGG-16/CIFAR-100交叉阵列能耗降41.57%、ADC侧降39.32%，准确率从70.42%至68.62%，表明框架可扩展至更深CNN。

2.5 Selective Single-Layer Perturbation for Keyword Spotting，研究人员在关键词 spotting网络中对最大全连接层FC1插入正弦扰动编码，FC1活跃输入比特数减少68.6%，平均输入相关性降66.7%，输出电流范围压缩约3.4倍，交叉阵列能耗降69.4%，准确率从88.7%至87.2%，混淆矩阵主导对角结构保留，表明大层选择性扰动可在保精度下获显著硬件节能。

2.6 Comparison with Prior IMC Accelerators，研究人员基于Walden-FOM模型与热噪声限制电容缩放假设，将ADC满量程范围收缩转化为等效有效位数（Effective Number Of Bits, ENOB）松弛，ADC转换能量近似与压缩满量程范围线性反比，面积近似与压缩满量程范围平方反比，与ISAAC、PUMA、ReHarvest等存内计算（In-Memory Computing, IMC）加速器基准比较，集成SPE的加速器在KWS任务中获系统级收益。

总结讨论部分，研究人员指出该能量感知扰动框架通过正弦目标生成、低种群计数投影与双阈值规则，从输入侧联合减少交叉阵列计算与ADC动态范围需求，逐层贝叶斯搜索以低成本离线定参。硬件验证与多网络评估表明框架在MNIST、ResNet-18/CIFAR-10、VGG-16/CIFAR-100及KWS上均能压缩输出电流范围、降低能耗且精度损失有限，大层选择性扰动增益更显著。研究贡献包括开发框架、引入选择性扰动方案、建立逐层贝叶斯搜索策略及多任务验证有效性通用性。研究结论为所提框架在忆阻器阵列CNN中可有效联合缓解交叉阵列与ADC瓶颈，在有限精度损失下实现系统能效提升，适用于边缘感知、智能传感等资源受限场景。