一种具有无损压缩计算功能的非易失性AI边缘处理器，采用动态浮点/定点累加技术的STT-MRAM近内存计算架构

《IEEE Journal of Solid-State Circuits》：A Nonvolatile AI-Edge Processor With Lossless-Compressed-Computing STT-MRAM Near-Memory-Compute Macro Using Dynamic Floating-/Fixed-Point Accumulation

　　

摘要：

基于近内存计算的非易失性AI边缘处理器能够实现高效能的乘加运算，同时具备较低的唤醒延迟，从而适用于边缘推理任务。在芯片内存容量受限的情况下，浮点神经网络模型需要进行无损压缩；但这带来了若干挑战：1）由于浮点权重编码的方式，会导致数据解压的开销增加；2）在大型非易失性存储阵列中，由于近远效应，存在读取效率与能耗之间的权衡；3）在多级加法器结构中进行浮点累加时，需要兼顾运算精度与能耗；4）在nvNMC架构中，特征图与权重之间的映射方式会导致层融合效率低下。本文通过提出一种非易失性AI边缘处理器，以及四种系统与电路协同设计方案来应对这些挑战：1）德尔塔指数无损压缩算法（DELC）；2）考虑近远效应的偏置与映射机制（NFABM）；3）动态浮点/定点累加技术（DF2PA）；4）适配nvNMC架构的混合层融合权重映射方法（CIM-HLF-WM）。使用代工厂提供的22纳米自旋转移矩磁随机存取存储器制造的测试芯片，在BF16格式的输入数据和权重条件下，实现了24.6 TFLOPS/W的能效比，以及428.58微秒的唤醒到响应延迟，充分证明了该处理器在内存和能耗受限的AI边缘应用中的有效性。