BE-IMC：基于位交织8T SRAM的AI边缘设备存内计算宏单元

《Microprocessors and Microsystems》：BE-IMC: Bit-interleave 8T SRAM based In-Memory Computing macro for AI edge devices

　　

摘要
忆内计算（IMC）是一种新的范式，旨在提高人工智能（AI）边缘设备的能效和吞吐量。本文提出了一种基于8T SRAM的共享传输门位交织忆内计算宏单元（BE-IMC），用于实现高效的忆内计算。所提出的BE-IMC宏单元采用共享传输门写入方案，结合位交织结构，解决了半选择问题。此外，提出了一种输入增强型电压灵敏放大器（IB-VSA），与传统的电压灵敏放大器相比，可将输入裕度提高2.57倍。基于16-Kb SRAM阵列的IMC宏单元在65纳米工艺节点上实现，在24 MHz时钟频率和0.32 V供电电压（VDDmin）下达到了1502 TOPS/W的能效。所提出的BE-IMC宏单元在包含所有外围电路（如按列提出的IB-VSA、译码器和驱动器）的128×128 SPGB-8T SRAM阵列中实现了80.9%的阵列效率。此外，通过将所提出的BE-IMC宏单元和IB-VSA参数集成到改进的MLP+Neurosim框架中，实现了2层多层感知机（MLP）神经网络。在MNIST数据集上，2层MLP神经网络实现分别达到了95.48%（在线学习：硬件学习和硬件分类）和97.04%（离线学习：软件学习和硬件分类）的准确率。

引言
边缘计算是基于人工智能（AI）的物联网（IoT）和便携式边缘设备中的重要范式。卷积神经网络（CNN）已成为AI边缘设备中的主要工具。边缘设备由电池供电，因此对能效有极高的需求，以实现长期运行并延长电池寿命。由于冯·诺依曼瓶颈，基于冯·诺依曼架构的AI边缘设备能效较差。忆内计算（IMC）是提高AI边缘设备能效和吞吐量的一种可行方法。近期研究将新兴的阻变存储器（ReRAM）视为面积高效的IMC的可行候选方案。然而，包括高写入能耗、低耐久性和窄信号裕度在内的各种限制阻碍了基于ReRAM的IMC实现的快速商业化。基于动态随机存取存储器（DRAM）的IMC宏单元面积效率较高。然而，定期刷新以维持存储权重值的需求使其在高精度CNN应用中效率低下，并增加了显著的能耗。静态随机存取存储器（SRAM）正在成为SRAM-IMC宏单元能效和面积效率的关键组成部分。

已提出多种基于不同SRAM拓扑结构的IMC宏单元用于AI边缘设备，如传统6T（C6T）、传统双端口8T（CDP-8T）、10T和XNOR-SRAM。C6T SRAM-IMC宏单元存在读扰动和半选择扰动问题。因此，C6T SRAM执行可靠操作所需的最低供电电压（VDDmin）局限于0.5–0.7 V。已提出一种4+2T SRAM-IMC宏单元，通过采用读解耦路径来最小化可靠忆内布尔逻辑计算所需的VDDmin。然而，由于基于n阱的写入机制，4+2T SRAM-IMC宏单元中的部分SRAM单元容易受到半选择问题的影响。此外，4+2T SRAM-IMC宏单元需要额外的周期来执行写回操作，这增加了能耗和延迟。因此，提出了CDP-8T、8T、10T和XNOR-SRAM，以实现用于神经网络处理的SRAM-IMC宏单元的低延迟。然而，基于CDP-8T SRAM的IMC宏单元存在动态范围仅为250 mV以及处理神经网络需要更多工作周期的问题，用于高分辨率列基ADC。基于10T SRAM和XNOR-SRAM的IMC宏单元存在面积效率低的问题。

已有关于SRAM阵列采用位交织架构以提供软错误保护和更好的阵列效率的报道。如果基于CDP-8T和10T SRAM的IMC宏单元采用位交织架构，由于类C6T的写入操作，会出现半选择问题，从而降低IMC宏单元所需的VDDmin。缩放供电电压是减少SRAM能耗的最有效方法。然而，缩放的供电电压会降低已报道的CDP-8T和10T SRAM-IMC宏单元在忆内逻辑操作期间的鲁棒性。因此，CDP-8T IMC宏单元中SRAM内核和预充电电路所需的VDDmin分别为0.45 V和0.8 V，10T SRAM-IMC宏单元的VDDmin为0.8 V。由于之前的SRAM较低的VDDmin，泄漏和存储操作仍然消耗较大功率。因此，之前的SRAM-IMC系统仍然能效较低。能效和面积效率较高的SRAM-IMC宏单元是提高AI边缘设备电池寿命的有效方法之一。因此，AI边缘设备的SRAM-IMC宏单元需要采用能效高和位交织架构。

本文提出了一种具有0.32 V VDDmin的基于8T SRAM的共享传输门位交织忆内计算宏单元（BE-IMC）。在SRAM-IMC宏单元中引入传输门晶体管以消除半选择扰动并降低VDDmin。所提出的基于SPGB-8T SRAM的IMC宏单元采用8:1位交织（列交织）结构以提高阵列效率。通过使用列路由的读位线（RBL）对和分立的写字线（WWL）布局方案来优化8T SRAM位单元面积。此外，提出了一种差分输入裕度增强型电压灵敏放大器（IB-VSA）以提高速度并最小化输入偏移的动态范围。为了分析AI边缘应用，使用所提出的BE-IMC在改进的MLP+Neurosim框架中实现了神经网络。据作者所知，这是首次实现位交织使能的SRAM-IMC宏单元在0.32 V VDDmin下运行，且读、写和IMC操作均无故障。

本文的主要贡献如下：

(1) 首先，提出了一种基于共享传输门位交织8T SRAM的IMC宏单元，通过使用8:1位交织架构来降低VDDmin并提高阵列效率。此外，在布局级别对位单元面积进行了优化。通过深入电路分析，表明与最先进的IMC宏单元相比，所提出的IMC宏单元具有更低的VDDmin和更低的能耗。

(2) 其次，提出了一种基于输入增强电路的IB-VSA以提高IMC宏单元的性能。

(3) 第三，在改进的MLP+Neurosim框架中实现并验证了2层多层感知机（MLP）神经网络，用于MNIST数据集上的图像分类。

论文其余部分安排如下：第2节描述所提出的SRAM-IMC宏单元及其外围电路；第3节解释所提出的SRAM-IMC宏单元的不同操作模式；第4节展示所提出的SRAM-IMC宏单元的仿真结果；第5节展示在改进的MLP+Neurosim框架中2层MLP神经网络的实现和AI边缘设备的性能分析，并与先前报道的IMC宏单元进行比较。第6节展示先前报道的IMC宏单元的比较。最后，在第7节中给出结论。

章节片段

所提出的基于SPGB-8T SRAM的IMC宏单元
图1展示了128×128（16Kb）共享传输门位交织使能8T（SPGB-8T）SRAM-IMC宏单元。传输门晶体管PGL和PGR在由四个SRAM单元组成的块中共享，以解决SRAM-IMC宏单元中的半选择问题。单个SRAM单元中使用分立的写字线（WWL、WWR）以减少面积开销。所提出的SRAM-IMC宏单元的外围电路包括16个读电路[0-15]、128个输入驱动器、128个读字线（RWL）/写字线（WWL）驱动器。

所提出的SRAM-IMC宏单元操作模式
所提出的IMC宏单元在两种不同模式下工作：正常存储模式（读和写）和IMC模式（忆内逻辑和忆内乘加运算）。在正常存储模式下，仅激活一行；而在IMC模式下，激活多行。

仿真结果
在本文的这部分中，所提出的SPGB-8T SRAM和CDP-8T SRAM均在65纳米CMOS工艺上实现。SRAM的性能分析在27°C温度和最坏工艺角条件下进行。

神经网络实现
通过在改进的MLP+Neurosim框架中实现2层MLP神经网络进行MNIST数据集上的图像分类，展示了所提出的BE-IMC宏单元在AI应用中的优势。图18展示了使用所提出的BE-IMC宏单元在改进的MLP+Neurosim框架中分析2层MLP神经网络性能的方法论。各层的解释如下。

与最先进的IMC宏单元的比较
表4提供了与最先进的基于SRAM的AI边缘设备IMC宏单元的详细比较。所提出的IMC宏单元具有更高的能效（由于VDDmin低，比CDP-8T SRAM和8T SRAM IMC宏单元分别高3.06倍和8.34倍）。本工作和JSSC22使用了MLP神经网络，而JETCAS22使用了VGG类神经网络，数据集相同，均为MNIST。JSSC22中报道的工作在硬件学习和硬件条件下达到96.37%。

结论
本文提出了一种具有0.32 V VDDmin的位交织使能SPGB-8T SRAM-IMC宏单元。所提出的BE-IMC宏单元在低供电电压下消除了计算扰动权重和半选择问题。所提出的BE-IMC宏单元在24 MHz工作频率和0.32 V供电电压下，可靠地执行读操作和忆内逻辑操作，无任何故障。所提出的BE-IMC宏单元实现了最高的阵列效率（80.9%）和最高的能效（1502.6 TOPS/W）。

利益冲突声明
作者声明以下财务利益/个人关系，这些可能被视认为潜在的利益冲突：Anil Kumar Rajput博士、Manisha Pattanaik教授和Gaurav Kaushal博士拥有一项名为"AI设备的高效SRAM"的待批专利，受让人待定。如果有其他作者，他们声明没有已知的竞争性财务利益或个人关系可能影响本文报道的工作。

Anil Kumar Rajput于2011年获得印度RGVP博帕尔电子与通信工程学士学位，2015年获得印度NIT鲁尔基尔VLSI硕士学位。他获得了印度ABV IIITM瓜廖尔博士学位。他曾在美国ScaleGenAI LLC担任高级研究员。目前，他在印度VIT韦洛尔担任助理教授。他的研究方向包括能效感知VLSI架构设计、忆内计算系统以及基于SRAM/混合SRAM的忆内计算设计。

Anil Kumar Rajput | Manisha Pattanaik | Gaurav Kaushal | Santosh Kumar Vishvakarma