基于RRAM模拟矩阵计算的神经网络二阶训练

《IEEE Electron Device Letters》：Second-Order Training for Neural Networks Using RRAM-based Analog Matrix Computing

　　

摘要：

二阶训练方法利用曲率信息，比一阶方法实现更快、更稳定的收敛。然而，由于求逆二阶信息（SOI）矩阵的高昂计算成本，其实际应用受到了限制。在本工作中，我们展示了一种由基于 RRAM 的模拟矩阵计算（AMC）支持的二阶训练的实验演示。我们通过训练一个用于手写字符分类的两层卷积神经网络（CNN）来验证所提出的优化器，与 SGD 和 Adam 相比，所需训练轮数分别减少了 26% 和 61%。在一个更大规模的任务中，所提出的加速器比最先进的数字处理器实现了 23.3 倍的吞吐量提升和 16.0 倍的能效增益。这些结果表明了基于 RRAM 的 AMC 在二阶神经网络训练方面的潜力和有效性，为更高效的人工智能训练硬件铺平了道路。