一种基于行缓冲器的可重构脉动卷积神经网络FPGA架构设计与实现

《Scientific Reports》：A reconfigurable architecture for CNN acceleration using line buffers

　　

摘要

计算机视觉（CV）在神经网络（NN）处理的驱动下，实时应用正迅速增长。卷积神经网络（CNNs）是基于人工智能（AI）的高级计算机视觉应用的核心架构，应用于自动驾驶、人脸识别、物体检测和信息解密。然而，巨大的计算复杂度和持续的内存带宽需求限制了 CNN 在 FPGA 平台上的高效硬件实现。本文提出了一种使用行缓冲器的可重构脉动 CNN 架构，以增强资源利用率并降低延迟。所提出的架构根据 CNN 层需求进行动态重构，行缓冲器提高了数据复用率并减少了冗余内存访问。此外，设计了可重构的加法器和池化结构，以增加累加和降采样操作的灵活性，支持 CNN 中各种大小的卷积核和层。所提出的可重构架构通过控制信号实现了硬件效率，并适用于所有 CNN 层。该可重构架构的 FPGA 实现是使用 LeNet CNN 架构层进行的。这种灵活且低成本的 可重构脉动 CNN 架构在 LeNet CNN 中实现了 15.25% 的 LUT 利用率降低，75% 的吞吐量提升，以及 2.44% 的计算延迟降低。使用所提出的可重构架构实现的 LeNet CNN 适用于高性能和硬件高效的 CNN 应用。