基于硬件的硅基模拟神经网络模型设计与训练

《IEEE Journal on Emerging and Selected Topics in Circuits and Systems》：Hardware-Aware Model Design and Training of Silicon-based Analog Neural Networks

　　

摘要：

基于硅的模拟神经网络以近似的方式实现了理想的神经网络模型。我们表明，通过使用具有物理信息且考虑硬件特性的模型对神经网络进行重新训练，即便存在显著的非理想因素，也能完全恢复理想网络模型的推理精度。与那种通过大量校准和保守的模拟设计来提高模拟神经网络的精确度，但会带来巨大的能耗、面积和设计成本的方案相比，这种方法在可扩展性和集成密度方面更具优势。首先，我们提出了一种针对时域向量-矩阵乘法器的具有物理信息且考虑硬件特性的模型，该乘法器由单晶体管浮栅存储单元构成，该模型明确考虑了物理实现中的两种主要非理想因素——电容串扰和位线电压降，并且能够与现代深度学习工作流程无缝集成。该模型将每个操作分解为自适应时间槽，并行处理激活模式，并汇总它们的贡献以预测有效的乘法器输出。通过16×16硅阵列演示器的测量结果，我们发现串扰与布局相关且往往占主导地位，因此我们引入了一种改进的权重提取方法，其信噪比是理想向量-矩阵乘法器模型的两倍。最后，我们证明，通过在前向传播过程中使用考虑硬件特性的模型对基于硅的模拟神经网络进行训练，能够在越来越复杂的数据集上，在六种架构中恢复理想软件网络的精度，从而为时域模拟神经形态芯片建立了从设计到部署的完整工作流程。