ThRIve：通过低秩适应在异构图像处理（PIM）架构中实现热稳定性的卷积神经网络（CNN）推理

《ACM Transactions on Design Automation of Electronic Systems》：ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures

针对基于非易失性内存的PIM架构在热噪声环境下存在的模型权重失准问题，本文提出ThRIve方法，通过低秩自适应参数存储优化和异构硬件配置，有效抑制温度变化引起的噪声干扰，实验验证其在CNN推理中实现2%以内的平均精度波动和5.4倍的EDP降低，性能优于传统热鲁棒SRAM-PIM系统。

　　

摘要

内存处理（PIM）作为一种加速机器学习（ML）工作负载的新兴技术，展现出了巨大的潜力。特别是基于非易失性内存的PIM架构，由于能够高效地执行能量友好的矩阵-向量乘法运算，从而实现了有效的ML加速。然而，这些设备存在诸如热噪声等非理想因素。这种噪声会改变存储在内存单元中的实际模型权重值，从而影响推理的准确性。在这项工作中，我们提出了ThRIve一种基于噪声感知的训练方法，该方法利用低秩适应技术来增强异构PIM架构在热噪声环境下的推理鲁棒性。ThRIve将低秩噪声敏感参数选择性地存储在受热噪声影响较小的硬件上，从而有效抵御温度引起的噪声变化。该方法能够减轻热噪声的影响，确保在整个工作温度范围内推理准确性不会下降。实验结果表明，采用ThRIve的架构能够保持稳定的推理准确性，平均准确率与理想状态（即无噪声状态）下的准确率相差不超过2%，且整个温度范围内的准确率波动也在平均值的2%以内。所提出的方法在保证与耐热静态随机存取存储器（SRAM）基PIM系统相当的性能的同时，还能在CNN模型推理过程中将能量-延迟积（EDP）降低多达5.4倍。