《Neurocomputing》:Reliable Yet High-Speed Memristor-Based Mixed-Signal Coarse-Grained Reconfigurable Architecture for CNN Inference Acceleration
编辑推荐:
本文提出一种集成故障检测与纠正的混合信号粗粒度可重构架构(CGRA),用于可靠的大规模深度神经网络推理。通过内联最大池化实现数字域计算加速,减少ALU和寄存器文件操作;采用校验和机制检测忆阻器交叉阵列中的 stuck-at 故障和漂移故障,通过重写故障忆阻器和替换冗余忆阻器进行纠正。实验表明,在AlexNet、VGG、Inception-V4等模型中,该架构保持全精度,性能损失小于1%,优于先前方法约16%的精度下降和19%的性能损失。
Reza Kazerooni-Zand|Ali Afzali-Kusha|Mehdi Kamal
德黑兰大学工程学院电气与计算机工程学院
摘要
在本文中,我们提出了一种混合信号粗粒度可重构架构(CGRA),该架构集成了故障检测和校正功能,以确保深度神经网络(DNN)推理的可靠性。我们的设计包括一种原位最大池化实现方式,它可以加速数字域中的计算,绕过算术逻辑单元(ALU)和寄存器文件操作,从而提高性能并降低能耗。为了解决与忆阻器相关的可靠性问题,我们使用基于校验和的方法来检测忆阻器交叉棒中的粘滞故障(SAFs)和漂移故障。漂移故障通过重写有缺陷的忆阻器来纠正,而粘滞故障则通过用冗余忆阻器替换来缓解。这种方法使用少量的忆阻器作为校验和权重,实现了最小的性能开销。我们还引入了基于比较器的逻辑来加速卷积神经网络(CNN)中的最大池化操作,在模数转换器(ADC)之后本地执行时,速度提高了多达28倍。模拟实验表明,在测试的DNN(包括AlexNet、VGG和Inception-V4)中注入粘滞故障(随机固定的忆阻器值)和漂移故障(随机值偏差)并未导致准确性损失,且性能下降幅度很小(例如,在25%的忆阻器损失情况下,Inception-V4的性能仅下降了3%)。ResNet-18和Inception-V3的性能下降略高(例如,在25%的损失情况下,Inception-V3的性能下降了16%),但仍优于类似的工作。
引言
许多机器学习(ML)应用,包括自动驾驶汽车、图像分类和语音识别,都需要可靠的硬件加速器[1]、[2]、[3]、[4]。另一方面,为了提高识别准确性,需要更大更深层次的深度神经网络(DNN)。然而,尺寸和深度的增加会导致能源和性能(速度)的下降。因此,在推理阶段,需要使用可靠且低能耗的DNN架构设计技术。已经引入了几种加速器来克服这些挑战。实现DNN的非常流行的数字平台之一是图形处理单元(GPU),它具有高度并行的架构,可以同时执行密集计算。实际上,用于开发DNN模型的不同框架(例如TensorFlow、PyTorch和MXNet)都支持GPU,为设计者提供了高效的计算能力[5]、[6]、[7]。现场可编程门阵列(FPGA)可以定制以执行特定任务,为基于DNN的数字加速器提供了一个高效的平台。FPGA加速器可能比GPU更节能,因此对于功耗受限的边缘设备来说是一个有吸引力的选择[8]。
专用集成电路(ASIC)是定制设计的芯片,可以用于加速DNN在推理和训练阶段的计算。与FPGA和GPU相比,ASIC可以提供更高的速度和功耗效率。然而,它们的设计和制造需要大量的投资。Tensor Processing Unit(TPU)是谷歌为神经网络机器学习应用开发的一种ML加速器ASIC示例。
模拟加速器是另一种类型的DNN加速器,它们使用模拟电路来更快地执行某些计算,同时消耗更低的能量。更具体地说,DNN计算包含许多乘法和累加(MAC)操作,其中二维忆阻器阵列是模拟执行这些计算的绝佳选择。这种架构由以交叉棒配置连接的忆阻器阵列组成,用于执行矩阵-向量乘法。输入数据应用于一组导线,而权重应用于另一组导线。然后将每次乘法的输出加到相应的输出导线上[10]、[11]。然而,纯模拟加速器可能不适合DNN中的所有类型操作。例如,卷积神经网络(CNN)由于其计算要求,可能不适合使用模拟计算进行加速。更具体地说,CNN涉及扩展的矩阵操作,这些操作使用模拟电路实现起来可能比较困难[12]。作为解决方案,可以使用混合信号加速器来处理这些类型的DNN,在这些平台上可以实现能效和低延迟。在这些平台中,模拟元件通过消耗更低的能量来加速矩阵-向量乘法(MVM)操作,而数字组件则更高效地处理其他计算,并提供灵活性和可编程性(参见[11]、[13]、[14]、[15]、[16]、[17]、[18])。由于架构的混合信号特性,需要使用ADC和DAC在模拟域和数字域之间传输数据。
尽管混合信号实现具有许多优点,但它们面临一些挑战,尤其是在可靠性方面。在混合信号CNN加速器的背景下,可靠性涉及几个重要方面,包括准确性、鲁棒性和稳定性。显然,确保可靠性是这些加速器在各种应用和部署场景中得到广泛采用的关键要求[19]。包括电阻存储器及其交叉棒结构的低可靠性在内的不同现象会影响整个混合信号CNN加速器的可靠性。这些结构中发生的错误分为两类:软错误和硬错误。软错误主要是由于非理想的写入机制和参数偏差引起的,偏离了预期值。另一方面,硬错误是由于稳定性低或制造缺陷导致的,使得值固定在一个恒定值[20]。
在CNN中,卷积层和全连接层中的大部分计算涉及矩阵乘法。因此,加速这些操作可以显著提高整个系统的性能。忆阻器交叉棒是一种可以高效执行MVM操作的忆阻器排列。在这种结构中,乘法权重存储为忆阻器的电导率,通过对阵列施加电压,得到的输出电流表示MVM结果。由于这是一种模拟结构,因此需要ADC和DAC单元将其与数字组件接口,以进行输入和输出数据的转换。此外,CGRA是一种由处理元件(PEs)组成的可重构架构,由于其粗粒度特性,它们可以高效执行复杂的数据流。将忆阻器交叉棒集成到这种架构中,可以同时为系统提供高性能和灵活性。
在本文中,我们利用额外的低开销模拟和数字计算模块来实现基于忆阻器的容错高性能混合信号加速器。该架构非常适合资源受限的环境,如移动设备和物联网(IoT)应用。我们还引入了一种原位最大池化方法,以加速数字域中的计算速度。该架构通过将数字处理元件与基于模拟忆阻器的模块集成,实现了卓越的性能和能效。本文的其余部分组织如下:第2节简要回顾了一些先前的DNN加速器结构,第3节详细描述了所提出的混合信号CGRA的细节。第4节研究了所提出结构的有效性,第5节总结了本文。
相关文献
相关工作
近年来,多篇研究论文探讨了基于忆阻器的混合信号CNN加速器,其中一些在本文中进行了简要回顾。这些工作主要关注提高性能、能效和可靠性。ISAAC是最早使用忆阻器交叉棒网络架构在CNN中执行矩阵-向量乘法的研究之一[1]。作者还提出了一种称为原位模拟算术的技术,该技术允许模拟提出的架构
所提出的CNN混合信号加速器的结构如图2所示。它由多个模块组成,每个模块包含一个负责控制和协调的数字组件,以及一个用于高吞吐量计算的模拟组件。数字部分包括寄存器文件、ALU、网络交换模块、上下文寄存器、上下文控制器和一组全面的MUX,以促进硬件控制。
结果与讨论
为了评估所提出架构的有效性,我们考虑了不同的基准数据集和CNN模型。仿真环境遵循[5]中的类似方法,但对新架构进行了一些修改。为了评估所提出的架构,我们使用4×4的ΔPE阵列和45纳米CMOS技术实现了硬件[参考?]。仿真是通过使用VHDL描述数字逻辑,使用SPICE描述模拟部分来进行的
结论
在这项工作中,我们提出了一种基于混合信号的忆阻器CNN加速器架构,该架构提高了推理速度和可靠性。速度的提升是通过原位最大池化实现的,该方法通过在忆阻器交叉棒输出后直接放置比较器来加速数字域计算,从而减少了内存读/写操作。该架构使用了故障检测和校正技术来处理忆阻器的漂移和粘滞故障
CRediT作者贡献声明
Reza Kazerooni-Zand:撰写——原始草稿、验证、方法论、概念化。Mehdi Kamal:撰写——审阅与编辑。Ali Afzali-Kusha:撰写——审阅与编辑、方法论、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
Reza Kazerooni-Zand获得了伊朗德黑兰大学的博士学位和伊朗科学技术大学的硕士学位。他的研究兴趣包括混合信号加速器设计、VLSI电路的可靠性和低功耗设计。