基于高级合成的FPGA硬件加速器,用于神经形态计算中的广义Hebbian学习算法 作者:Shivani Sharma 和 Darshika G. Perera

《Electronics》:High-Level Synthesis-Based FPGA Hardware Accelerator for Generalized Hebbian Learning Algorithm for Neuromorphic Computing Shivani Sharma and Darshika G. Perera

【字体: 大 中 小 】 时间:2026年04月22日 来源:Electronics 2.6

编辑推荐:

  摘要 随着人工智能和智能系统时代的到来,神经形态计算将成为支持下一代人工智能相关应用的关键技术。现有的智能系统(如智慧城市、机器人技术)面临着许多挑战和需求,包括高性能、适应性、可扩展性、动态决策能力和低功耗。神经形态计算作为一种补充解决方案,旨在应对这些

  摘要 随着人工智能和智能系统时代的到来,神经形态计算将成为支持下一代人工智能相关应用的关键技术。现有的智能系统(如智慧城市、机器人技术)面临着许多挑战和需求,包括高性能、适应性、可扩展性、动态决策能力和低功耗。神经形态计算作为一种补充解决方案,旨在应对这些挑战和需求。神经形态计算具有许多特点,如适应性、低功耗、可扩展性和并行计算能力,能够满足未来智能系统的要求。为了克服阻碍神经形态计算发展的各种挑战,需要创新性的解决方案(包括模型、架构和技术)。在本研究中,我们介绍了一种基于FPGA-HLS的高效硬件加速器,用于实现神经形态计算应用中的广义赫布学习算法(GHA)。我们选择关注GHA,因为它能够进行在线学习和增量学习,并提供了一个与生物适应原则高度契合的、硬件效率高的无监督学习框架——这些特性对神经形态计算应用至关重要。此外,我们之前的研究表明FPGA具有许多优点,如低功耗、定制电路、并行计算能力和自适应特性,使其非常适合用于神经形态计算应用。我们提出了两种不同版本的基于FPGA-HLS的GHA硬件加速器:一种基于内存映射接口,另一种基于流式接口。与嵌入式软件相比,基于流式接口的FPGA-HLS GHA硬件IP实现了最高51.13倍的加速比,同时保持了神经形态计算应用所需的小面积和低功耗特性。实验结果表明,基于FPGA的架构在支持神经形态计算应用方面具有巨大潜力。

1. 引言
随着人工智能(AI)的发展,神经形态计算研究和神经形态硬件架构将对于支持下一代人工智能相关应用至关重要。这不仅是因为神经形态计算受到人脑结构和功能的启发,还因为神经形态计算硬件架构具备许多潜在优势,包括密集连接性、并行操作、低能耗以及内存与处理的紧密耦合等[1,2]。凭借这些优势,神经形态计算可以创建模仿大脑功能的智能系统,同时解决下一代人工智能应用中的各种限制。近年来,工业界和学术界对神经形态计算的研究和开发越来越感兴趣。IBM和Intel等大型公司推出了神经形态计算系统和平台,例如TrueNorth处理器[3]和Loihi[4]。神经形态计算的概念和设计被应用于多个领域,如机器人技术、人工智能、边缘计算、医疗保健、网络安全和智慧城市等[5,6,7,8,9,10]。根据Allied Market Research的报告[11],2020年全球神经形态计算市场规模为2632万美元,预计到2030年将达到8.58398亿美元,复合年增长率(CAGR)为79%。以上事实表明,随着新应用的涌现,神经形态计算市场和研究将在长期内持续繁荣。
现有的智能系统(例如机器人技术、人工智能、智慧城市)面临着许多挑战和需求[5,6,7,8,9,10]。例如,自主机器人需要解释复杂的感官数据并在动态环境中导航;边缘设备必须在资源有限的条件下(如带宽和功率)进行数据本地处理;可穿戴健康监测设备需要极高的精度;智慧城市应用(如交通和能源管理)需要高效且低成本地处理来自多源的数据。这些系统普遍存在一些共同挑战[15,16],包括高处理能力、对多变环境的可适应性、可靠性、可扩展性、快速的数据处理与分析以及即时精确的决策能力。因此,需要新的解决方案来应对这些挑战并满足未来智能系统的要求。
神经形态计算作为一种补充方案,旨在解决下一代智能系统的上述挑战和需求。受大脑启发的神经形态计算系统架构支持适应性、低功耗和事件驱动的计算,适用于实时处理[17,18,19,20]。通过模仿大脑中相互连接的神经元和突触网络,神经形态计算系统可以高效地进行学习和推理[21]。此外,神经形态硬件架构可以设计得具有适应性、可扩展性、能效高且占用面积小[18,21]。这些特点将有助于满足未来智能系统和应用的需求。
尽管神经形态计算具有许多对下一代智能系统有益的特性,但仍存在一些阻碍其发展的问题,如缺乏强大的开发工具、有限的编程/设计框架,以及仅适用于特定应用的硬件架构[22,23]。因此,神经形态计算需要新的模型、架构和技术来支持未来智能系统的需求和挑战,包括下一代人工智能。
有许多受大脑功能启发的模型和算法被用于创建神经形态计算硬件架构[1]。其中最著名的包括[24,25,26,27]:时序依赖性可塑性(STDP)、通过时间的反向传播(BPTT)、脉冲神经网络(SNN)和广义赫布学习算法(GHA)等。广义赫布学习算法(GHA),通常被称为Sanger规则,是赫布学习算法(HA)的扩展,是一种生物学上最真实且生态学上有效的学习过程[28,29]。GHA通过局部权重更新从高维输入数据中计算主成分,从而实现在线和增量学习[28]。此外,GHA提供了一个与生物适应原则高度契合的硬件效率高的无监督学习框架[26]。如[30]所述,GHA通过局部更新每个权重、在线活动驱动的学习以及并行更新连接的输入和输出神经元来体现类似大脑的处理方式。因此,在本研究中,我们专注于将广义赫布学习算法(GHA)应用于神经形态计算平台。
与神经形态计算相关的算法和模型可以在各种计算平台上实现,包括中央处理单元(CPU)、图形处理单元(GPU)和专用集成电路(ASIC)以及现场可编程门阵列(FPGA)[31,32]。这些平台各有优缺点。例如,CPU提供灵活性和易于编程的优点,但在并行处理大量数据方面存在局限,从而影响了可扩展性和处理能力[31,33]。GPU提供并行计算和密集神经模拟能力,但功耗较高,不适合资源受限的神经形态计算平台[32,33]。FPGA具有片上可重构性、低功耗和高并行计算能力,能够支持神经形态计算算法(如GHA和SNN)的实时处理和分析[34]。
从我们之前的工作[35,36]可以看出,考虑到相关约束和要求,FPGA是支持和加速神经形态计算平台/应用算法和模型的最佳选择之一。FPGA越来越多地被用于支持资源受限设备(如嵌入式系统)中的复杂计算/数据密集型应用[37,38]。如[39]所述,FPGA提供细粒度的并行性、低功耗和针对特定算法的定制电路,从而实现高吞吐量。FPGA的可重构性促进了神经形态计算所需的自适应特性[40]。FPGA支持即插即用的方式集成定制IP,对于资源受限的应用(如机器人技术和边缘AI)中的自适应学习非常重要[41,42]。
基于以上考虑,本文旨在介绍一种新颖且高效的基于高级综合(HLS)的FPGA硬件加速器,用于神经形态计算中的广义赫布学习算法(GHA)。根据我们对现有文献的调查(见第2.3节),我们未发现任何基于FPGA-HLS的GHA硬件架构,这凸显了我们贡献的独特性。
在本文中,我们做出了以下贡献:
- 我们介绍了一种新颖、独特且高效的基于FPGA-HLS的GHA硬件加速器,用于神经形态计算。我们设计的GHA硬件架构旨在最小化芯片上占用的硬件资源并最大化加速比。该加速器具有灵活性和可扩展性,可以处理不同大小的数据集,并且能够高效地部署在任何FPGA平台上,充分利用HLS的能力。这些特点对于资源受限(如硬件资源和能耗受限)的神经形态计算应用至关重要。
- 我们为GHA的FPGA-HLS架构提出了两种不同的硬件实现方式:一种基于内存映射接口,另一种基于流式接口。我们通过多种性能指标比较了这两种硬件版本。此外,我们还为GHA开发了嵌入式软件架构以评估我们的硬件设计。
- 我们使用五个不同的基准数据集进行了实验,以评估所提出的两种基于FPGA-HLS的GHA硬件加速器的可行性和效率。我们分析了嵌入式硬件设计在时间性能、加速比、分类准确性、错误率、收敛率和功耗方面的表现。
本文的结构如下:第2节简要介绍了神经形态计算和广义赫布学习算法(GHA),以及现有文献中关于GHA硬件架构的研究。第3节介绍了我们的设计方法和开发平台,包括实验平台、系统级架构和所使用的基准数据集。第4节介绍了基于内存映射接口和流式接口的GHA硬件架构。第5节报告并讨论了我们的实验结果,包括时间性能、加速比、面积、准确性、错误率、收敛率和功耗等方面的分析。第6节总结了我们的工作,并讨论了未来的研究方向。

2. 背景和现有研究
在本节中,我们简要介绍了神经形态计算和广义赫布学习算法(GHA)。同时,我们也回顾了现有文献中关于GHA硬件设计和实现的研究工作。

2.1. 神经形态计算
神经形态计算的概念最初由Carver Mead在1990年提出[43]。该技术受到人脑结构和功能的启发,旨在创建能够执行高度复杂信息处理任务的节能硬件系统[44]。神经形态计算还模仿了“生物神经系统”的结构和逻辑处理方式,为人工智能提供了高效的硬件架构[20]。
根据最近的市场分析[45],到2026年,全球神经形态计算芯片市场将达到约5.566亿美元。如[46,47]所述,早期的商业神经形态芯片已经展示了在不同规模上执行复杂计算任务的潜力,同时功耗极低且延迟极小。这些事实表明,神经形态计算在许多嵌入式系统应用中具有巨大潜力。
与传统计算系统相比,神经形态计算系统具有几个独特优势[16,21]:(1)内存和处理的紧密耦合,减少了数据传输或内存访问延迟;(2)稀疏和分布式的信息编码;(3)动态和本地学习技术,通过避免在深层网络层中全局反向传播来降低功耗;(4)预测性感知,能够达成稳定的解释结果;(5)多时间尺度动态性,支持自适应的实时学习和信号处理。
神经形态计算专注于设计复制人脑运行原理的硬件。图1展示了从[48,49]改编的生物神经元示意图。在生物神经元中,电化学信号通过称为突触的小连接点进入。如图1所示,这些突触分布在称为树枝状结构的表面,这些结构延伸到周围的神经组织中,从中收集信号并将信号传输到神经元的中央区域(即细胞体)[48,49]。从细胞体出发,另一根称为轴突的延长纤维将信号传递到其他神经元的突触[48,49]。生物神经元的工作原理基于阈值机制[50,51]:只有当信号超过某个阈值时,才会影响接收神经元;否则,神经元的膜电位保持不变[50]。这一过程有助于在过滤掉无关或不重要的信号的同时节约能源[51]。神经形态计算系统旨在模仿上述生物组件及其功能。图1. 生物神经元的示意图,改编自[48,49]。2.2. 广义赫布学习算法广义赫布学习算法(GHA)是一种迭代技术,用于从输入数据中提取主成分(PC)向量[28]。GHA的工作方式非常类似于生物和人工神经系统中常见的无监督赫布学习过程[28,52]。下面我们总结并介绍了GHA及其相应的方程式,而GHA的详细描述可以在[28]中找到。假设我们有一个由n个输入神经元和m个输出神经元组成的单层神经网络,分别用y1,..., ym表示,其中第j个输入神经元与第i个输出神经元之间的连接强度由突触权重表示。这些突触权重形成了线性编码向量,定义了信息在网络中的传输和转换方式[53]。然后,我们可以将GHA写成矩阵形式如下[28]:(1)其中η是学习率参数。上述方程(1)是根据方程(2)和(3)使用Oja规则(以矩阵形式)以及Gram-Schmidt算法推导出来的[28]。使用Oja规则(以矩阵形式):(2)使用Gram-Schmidt算法:(3)其中ω(t)是一个矩阵,代表方程(2)和(3)中的突触权重。同时,考虑自相关矩阵的方程(4)[28]。(4)其中外积操作用于设置矩阵对角线以外的所有元素为0,而“diag”(在方程(2)中)则将矩阵对角线及以上的所有元素设置为0。通过结合方程(2)–(4),可以将原始的GHA方程(1)用方程(5)表示为矩阵形式[28]:GHA被应用于不同的领域,包括人工智能(AI)、语音识别、图像处理等,其中提取并利用特征或主成分(PCs)进行后续分析[53]。此外,由于GHA是单层处理结构,突触权重的变化仅取决于该层的输入和输出,从而消除了与反向传播算法相关的多层依赖性[53]。在方程(1)和(5)中,学习率参数η决定了GHA收敛精度和学习速度之间的权衡[53]。2.3. 关于GHA硬件架构的现有研究分析我们调查了已发表文献中关于基于FPGA的高层次综合(HLS)架构的研究工作。据我们所知,目前尚未有基于FPGA-HLS的GHA架构发表在文献中。因此,我们调查了其他硬件架构上的GHA相关研究。在这些现有工作中,我们选择了一些与GHA硬件设计最相关的研究,并展示了GHA硬件设计的演变过程。这些现有研究将在下文中详细讨论,并在表1中进行总结。表1. 对GHA硬件架构现有研究的总结。在[54]中提出了一个基于FPGA的硬件设计,用于指数赫布学习算法。作者通过使用具有非线性反馈圈的低通滤波器以及指数形状的权重适配(适用于上升和下降不同的时间常数)来实现非线性。作者在单个FPGA中实现了八个突触,采用完全串行数据流,从而减少了硬件资源消耗。该设计包括四个具有固定权重的常规突触和四个用于指数在线学习的赫布突触。在Xilinx XC3090 FPGA上进行的实验结果表明,该设计的性能优于线性解决方案。在[55,56]中提出了一种基于广义赫布学习算法(GHA)的主成分分析(PCA)硬件设计,该设计部署在可编程系统芯片(SOPC)平台上。作者为基于GHA的PCA提出了两种不同的硬件架构。架构I包含l个模块,每个模块j在时间n计算突触权重向量wj(n + 1),每个模块j包含m个子模块。架构II包含l个阶段,每个阶段j包含修改后的(来自架构I的)子模块ji,其中i的范围是从1到m。在架构II中,不同突触权重的更新被分成多个阶段;先前阶段的结果被用于后续阶段的计算,从而加速了训练时间并减少了面积。实验使用Altera Cyclone III FPGA和纹理分类数据集进行。所提出的架构II实现了89.82%的分类成功率,执行时间为986.73毫秒,因此比CPU软件实现了32.28倍的加速。在[57]中提出了一种基于FPGA的硬件设计,用于赫布特征滤波器脉冲排序算法,其中通过赫布学习计算PCA。作者使用赫布特征滤波器,因为它消除了传统PCA中计算成本高昂的协方差分析和特征值分解的需求,并且能够过滤指定数量的主成分,从而实现了面积效率高的硬件设计。所提出的系统级架构包括两个主要子系统:训练模块和实时处理模块。实时处理模块被设计为可扩展和可参数化的;因此,相同的架构被用于并行处理实时脉冲排序。此外,采用了一种折叠技术来在实时并行处理元素之间共享计算资源。实验使用Xilinx FPGA(Spartan 6 Low-Power XC6S-LX150L)进行,测试了合成和真实的临床脉冲序列数据,在吞吐量、准确性和功耗方面进行了比较。实验结果表明,赫布特征滤波器的脉冲分类准确率与传统PCA方法几乎相同。赫布特征滤波器硬件设计在学习延迟和实时投影延迟方面分别实现了17倍和33倍的加速。在[34]中,同一研究小组(或同一小组的一些作者)发表了另一篇关于基于GHA的PCA的论文[34]。在[34]中,作者详细阐述了GHA基于PCA的三个主要模块的内部硬件架构,即突触权重更新(SWU)单元、主成分计算(PCC)单元和存储单元。实验在两个FPGA开发平台Altera Cyclone IV EP4CGX150DF31C7 FPGA和Altera Cyclone III EP3C120F780C8 FPGA上进行,使用多种纹理分类数据集,数据量各不相同。从实验结果和分析来看,随着架构II中阶段数量的增加以及数据集大小的增加,所使用的硬件资源也相应增加。所提出的架构II实现了超过90%的分类成功率;执行时间为733.14毫秒,因此比CPU软件快了13.81倍;功耗为0.129瓦。作者还将所提出的硬件设计与文献中的相关工作进行了比较。作者得出结论,所提出的架构非常适合需要小面积和高性能计算的片上学习应用。在[58]中提出了一种基于FPGA的硬件设计,用于基于GHA的脉冲排序。作者使用流水线技术在硬件中实现了GHA训练以提高吞吐量。在这种情况下,p阶段流水线的GHA训练硬件架构产生了p个主成分用于特征提取,每个阶段包含一个主成分计算(PCC)单元、一个突触权重更新(SWU)单元和一个存储单元。脉冲一次一个地传递给流水线。这项工作同样来自[55,56]中的同一研究小组(或其中的一些作者),因此所提出的架构具有某些相似之处,例如每个阶段的三个主要模块:PCC、SWU和存储单元。实验在Altera Cyclone IV EP4CGX150 FPGA上进行。所提出的硬件架构对于四个目标神经元实现了超过92%的分类成功率,信噪比(SNR)为10,执行时间为2.91毫秒。作者还将所提出的硬件设计与文献中的相关工作进行了比较。作者得出结论,所提出的架构是实现小面积和高性能计算的 efficient 脉冲排序硬件设计。在[59]中提出了一种基于GHA的片上网络(NOC)硬件架构用于脉冲排序。这项工作是在[58]的基础上进行的,该工作使用了流水线技术进行脉冲排序。这同样来自[56,57]中的同一研究小组(或其中的一些作者),因此所提出的架构具有某些相似之处;例如,三个主要模块:PCC、SWU和存储单元。选择了基于NOC的硬件架构,因为它被认为适合提高基于GHA的脉冲排序的传输速度和吞吐量。基于NOC的脉冲排序硬件架构部署在Altera Cyclone IV EP4CGX150DF31上进行评估和实验。所提出的硬件架构实现了超过84%的分类正确率(CCR),信噪比为1;对于三个目标神经元,信噪比为10时,CCR超过96%。所提出的硬件架构还实现了高达1 GHz的最大工作频率,训练(或执行)时间为1.99毫秒,因此比CPU软件快了97.08倍。然而,与之前的设计相比,所提出的硬件架构在芯片上占用的硬件资源更多。在[60]中提出了一种基于VLSI的硬件架构,用于多通道在线脉冲排序,其中脉冲检测基于非线性能量运算符(NEO),特征提取由GHA完成。所提出的架构包括三个主要操作:脉冲检测、脉冲对齐和特征提取。在这种情况下,创建了一个NEO电路来一次执行一个脉冲的检测。创建了一个脉冲缓冲区来存储NEO电路生成的检测到的脉冲,并根据需要将脉冲发送给GHA电路。创建了一个GHA电路来进行特征提取,单个通道的GHA电路包括三个主要部分:缓冲区、求和-乘积(SOP)电路和突触权重更新(SWU)单元。多通道GHA电路由单通道电路组成,通过共享SOP和SWU电路来减少每个通道的面积。为了进一步降低功耗,仅向活动通道提供时钟。所提出的VLSI基础硬件架构实现在一个特定应用的集成电路(ASIC)上,采用90纳米技术。从实验结果和分析来看,随着通道数量和段长度的增加,所占用的面积也相应增加。所提出的硬件架构对于两个目标神经元实现了超过97%的分类成功率,信噪比为6–10。此外,在64个通道和2 MHz时钟频率下,归一化功耗降低了42.80%,即从每个通道150μW降低到每个通道85.8μW。作者得出结论,所提出的VLSI基础硬件架构是实现低功耗、小面积和高性能计算的有效解决方案。总结来说:我们的研究表明,上述关于GHA硬件架构的研究并没有考虑到神经形态计算的需求。此外,大多数现有工作并不是针对特定应用进行的,尽管一些工作指出它们的设计适用于片上学习应用。此外,这些研究根据所使用的数据集可以潜在地应用于某些特定场景。一些研究报道的训练时间被认为较长,需要针对实时神经形态计算应用进行优化,尽管这些研究声称它们的设计是为了实时处理而创建的。同样,一些研究报告的芯片上所占面积(即使用的硬件资源)也较大,也可以针对神经形态计算应用进行优化和减少。上述研究汇总在表1中。我们对这些研究的调查发现,已发表的文献中没有使用FPGA上的HLS(硬件描述语言)的GHA(广义赫布学习算法)硬件架构。此外,也没有研究报告具体的接口方式,无论是内存映射还是流式接口。在这项研究中,我们的目标是创建高效的基于FPGA-HLS的GHA硬件架构,以实现神经形态计算平台/应用的实时处理,并考虑相关约束。通过我们的研究工作,我们致力于解决现有研究中发现的上述挑战/差距,提出两种GHA硬件版本,使用多个基准数据集从各种性能指标评估提出的GHA硬件设计,并提供相关权衡的见解。

3. 设计方法和开发平台
3.1. 实验平台和方法
在这项研究中,我们介绍了一种新颖独特的基于FPGA-HLS的硬件加速器/架构,用于神经形态计算中的广义赫布学习算法(GHA)。我们还为GHA引入了嵌入式软件架构,以评估我们提出的基于FPGA-HLS的GHA硬件架构。在我们之前的工作[61]中,我们为GHA创建了基于桌面的软件架构,使用C语言编写,并在配备Microsoft Visual Studio 2022的桌面计算机上执行。我们利用桌面C程序来验证GHA的嵌入式FPGA-HLS硬件和嵌入式软件架构的结果和正确功能。我们所有的基于FPGA-HLS的硬件和嵌入式软件实验都在AMD/Xilinx ZCU104 FPGA开发板上进行[62],该开发板包含了Zynq UltraScale+ XCZU7EV-2FFVC1156 MPSoC。这个开发板在同一FPGA设备上集成了强大的处理系统(PS)和可编程逻辑(PL),其中PS由ARM旗舰Cortex-A53 64位四核处理器和ARM Cortex-R5双核实时处理器组成[62,63]。开发板拥有大量的芯片上硬件资源,例如504,000个系统逻辑单元(包括460,800个CLB(可配置逻辑块)触发器、230,400个CLB查找表)、1728个DSP切片和38MB的芯片上内存。开发板还包括464个I/O(输入/输出)引脚、高速片外4 GB DDR4-SDRAM(双倍数据速率同步动态随机存取存储器)和AXI接口[64]。有关ZCU104 FPGA开发板及其组件的更多详细信息,请参见[62,63]。
我们的基于FPGA-HLS的GHA硬件模块是使用AMD/Xilinx Vivado 2024.1和AMD/Xilinx Vitis 2024.1设计工具[65,66]创建的。在这种情况下,我们使用Vitis 2024.1来创建GHA硬件模块/IP以及相应的系统级设计;并使用Vivado 2024.1将GHA硬件模块/IP集成到系统级设计中,并生成配置比特流以编程FPGA。我们所有的嵌入式硬件模块都用可综合的C代码编写,这些代码是上述Vivado/Vitis设计工具的输入。利用这些工具,我们的高级可综合C代码经过多个步骤,最终创建出基于HLS的GHA硬件模块。我们的基于FPGA-HLS的GHA硬件模块在Zynq UltraScale + MPSoC FPGA上以100 MHz的速度运行,以验证其正确性和性能。我们的嵌入式硬件模块/IP配置有单精度浮点单元(FPUs)。我们利用AMD/Xilinx Vivado/Vitis设计套件中的集成模拟器,在下载和编程FPGA之前验证设计的功能。

我们所有的基于FPGA-HLS的嵌入式软件模块都是用嵌入式C代码编写,并在相同的FPGA上运行的ARM Cortex-A53硬核嵌入式处理器[67]上执行,处理器速度为1.2 GHz。在这种情况下,我们使用AMD/Xilinx提供的标准优化技术和选项来设计和开发在ARM处理器上执行的嵌入式软件模块(即嵌入式C代码),以及验证软件模块[65,66]。与我们的嵌入式硬件模块/IP类似,我们的嵌入式软件模块/架构也配置有单精度FPUs。

3.2. 我们的系统级架构
我们为提出的基于FPGA-HLS的GHA硬件IP创建了系统级架构,如图2和图3所示。在设计空间探索过程中,我们为GHA创建了两种硬件版本:一种具有内存映射接口,另一种具有流式接口。因此,我们为两种GHA硬件版本创建了两种系统级架构。对于我们的系统级架构,我们集成了处理系统(PS)来执行高级控制功能,并从桌面计算机到FPGA开发板进行初始数据传输。对于内存映射接口版本(图2),PS包括ARM Cortex-A53和内存控制器。对于流式接口版本(图3),PS包括ARM Cortex-A53、直接内存访问(DMA)控制器和内存控制器。在两个版本中,ARM处理器执行高级控制功能,帮助启动GHA IP的执行,预处理输入数据,并处理输出数据以计算分类精度。相反,PL执行整个GHA,包括计算密集型任务,如矩阵乘法、权重更新等。在两个版本中,内存控制器管理对片外DDR4-SDRAM的访问。

图2. 我们提出的具有内存映射接口的基于FPGA-HLS的GHA硬件IP的系统级架构。
图3. 我们提出的具有流式接口的基于FPGA-HLS的GHA硬件IP的系统级架构。
对于这两种系统级硬件架构,AXI(高级可扩展接口)总线作为系统的粘合逻辑[64]。在我们的设计中,PS-PL接口使用AXI-4总线来促进高速数据传输和通信。这种基于AXI总线的PS-PL接口[68]还支持双向数据流,使PS中的ARM处理器能够向PL中的FPGA-HLS硬件IP以及PL中的AXI计时器发送/接收数据。对于我们的设计,我们将PS-PL接口配置为32位数据宽度,以适应我们的单精度32位FPUs和32位浮点数据,这比64位和128位等更高数据宽度的设计减少了占用的硬件资源。

对于我们的两种系统级硬件版本以及嵌入式软件架构,我们都集成了AXI计时器(运行速度为100 MHz),以测量我们的嵌入式硬件模块/IP和软件模块/架构的执行时间[69]。与我们的PS-PL接口类似,AXI计时器也配置为32位数据宽度,并通过AXI-4总线由ARM处理器控制。

对于我们的两种系统级硬件版本,我们使用ARM Cortex-A53处理器来监控和控制我们的基于FPGA-HLS的GHA硬件IP。在这种情况下,ARM处理器向GHA硬件IP发送一个标志(或触发信号)以启动GHA的执行;启动AXI计时器来测量执行时间;在GHA完成后从GHA硬件IP接收一个标志(或触发信号);并管理PS和PL之间的数据流。一旦ARM处理器向GHA硬件IP发送标志,AXI计时器就开始测量执行时间;一旦GHA完成,ARM处理器从GHA硬件IP接收到标志,AXI计时器就停止测量执行时间。

对于流式接口版本,DMA控制器促进了片外DDR4-SDRAM和可编程逻辑(PL)中的自定义GHA IP之间的高速数据传输。这些数据传输也是通过AXI-4总线完成的[64],以确保数据流的高效率。由于高性能,流式接口版本适用于实时无监督学习应用,其中高速和低延迟响应至关重要。

通过创建这两种版本的系统级架构,我们探索了各种性能指标和相关权衡,包括执行时间、加速比、芯片上占用的硬件资源和功耗。我们的两种系统级硬件版本如下所述。

3.2.1. 基于内存映射接口的版本
首先,我们为提出的基于FPGA-HLS的GHA创建了具有内存映射接口的系统级硬件架构,如图2所示。这种内存映射接口使用AXI-4-Lite实现[64],可以将自定义硬件IP作为内存映射外设进行访问。通过这种接口,数据传输是双向的,并通过指定的地址使用标准的读/写操作进行传输[64]。尽管AXI-4 lite适用于低带宽应用或控制信号,但由于总线延迟有限和寻址开销较高,它不太适合高吞吐量数据处理[64]。我们最初使用内存映射接口,因为实现简单、AXI4-Lite的逻辑占用面积小,以及AXI4-Lite能够处理单个内存映射事务的能力。

3.2.2. 基于流式接口的版本
接下来,我们为提出的基于FPGA-HLS的GHA创建了具有流式接口的系统级硬件架构,如图3所示。这种流式接口使用AXI4-Stream协议实现,支持硬件模块/IP之间的直接和低延迟数据传输[64]。与内存映射接口不同,AXI4-Stream协议消除了地址阶段的需要(因此没有寻址开销),并支持无限长度的数据突发[64]。尽管流式接口版本的设计和实现比内存映射版本更复杂[64],但这些特性使得流式接口适用于实时、高速和低延迟的应用。因此,这个版本更适合我们的基于FPGA-HLS的GHA的实时处理,具有最小的缓冲。

3.3. 我们的基准数据集
在这项研究中,我们使用五个不同的基准数据集来评估GHA的嵌入式硬件和嵌入式软件架构。这五个数据集均来自UCI(加州大学欧文分校)机器学习存储库[70],该存储库在机器学习研究中被广泛采用。这五个数据集来自不同的领域,包含不同的数据规模和属性。每个数据集都包含数值属性值。

Wine基准数据集[71]基于对意大利同一地区三个不同葡萄园生产的葡萄酒的化学分析。Wine数据集包含178个实例(或向量),每个向量包含13个属性。化学分析确定了三种葡萄酒中每种类型的13种成分的数量(即13个属性),包括酒精浓度、苹果酸、灰分含量、碱度、镁等。

Parkinson’s Disease基准数据集[72]基于31人的生物医学语音测量数据,其中23人患有Parkinson’s Disease。Parkinson’s Disease数据集包含197个实例(或向量),每个向量包含23个属性。这些属性代表了不同的语音测量值,可用于区分健康个体和患有Parkinson’s Disease的个体。向量代表了参与者的录音语音样本。“status”属性中,0表示健康个体,而1表示患有Parkinson’s Disease的个体。

Heart Disease基准数据集[73]基于14个临床指标,如年龄、性别、胸痛类型、静息血压、胆固醇水平、最大心率等。Heart Disease数据集包含303个实例(或向量),每个向量包含76个属性,尽管大多数研究报告关注的是14个特征。这个数据集常用于预测一个人是否可能患有心脏病。“goal”属性表示患者是否患有心脏病,整数值范围从0到4,其中0表示没有心脏病,而1-4表示心脏病的严重程度。

Liver Disease基准数据集[74]基于美洲原住民肝病患者的数据,包含五个与肝脏问题相关的血液测试变量,这些变量可能与过量饮酒有关。Liver Disease数据集包含345个实例(或向量),每个向量包含5个属性。在这种情况下,每个向量代表一个男性受试者,5个属性包括总胆红素、碱性磷酸酶、丙氨酸氨基转移酶水平等,旨在诊断肝脏相关疾病。

Breast Cancer基准数据集[75]基于细针穿刺(FNA)样本的数字化图像。Breast Cancer数据集包含286个实例(或向量),每个向量包含9个属性。这些属性是从数字化图像中提取的,描述了核属性,如半径、纹理、周长、面积、平滑度等。我们决定使用来自不同领域的五个不同数据集,这些数据集具有不同的数据规模和特性,以便评估我们提出的用于通用强化学习(GHA)的嵌入式硬件和软件架构的可扩展性和多功能性。此外,在我们之前的工作[61]中,我们使用了这五个基准数据集在神经形态硬件平台上分析了GHA,证明了这些数据集适用于学习和分类任务。此外,UCI机器学习(ML)存储库中的类似数据集也被用于其他神经形态计算研究。例如,在[76,77]中,作者分别使用了四个(鸢尾花、葡萄酒、乳腺癌和Optdigits)和五个(鸢尾花、乳腺癌、糖尿病、葡萄酒、肝病)基准数据集,来分析用于神经形态计算的脉冲神经网络(SNN)算法的性能指标。这五个基准数据集的总结在表2中呈现。

4. 我们提出的基于FPGA-HLS的GHA硬件架构
在本节中,我们讨论并介绍了我们为神经形态计算设计的新型独特的基于FPGA-HLS的GHA硬件架构。我们首先检查并分析了GHA的功能流程(在第4.4节中介绍),以便为GHA创建基于HLS的硬件架构。我们用于创建基于FPGA-HLS的GHA的硬件设计决策、方法和技术在下面详细说明。
在这项工作中,为了加快我们的硬件设计和发展过程,我们使用了Xilinx/AMD的Vitis高级综合(HLS),因为HLS使用C/C++等高级编程语言来创建基于FPGA的硬件设计,而不是使用Verilog或VHDL等低级硬件描述语言。这不仅加速了硬件设计和发展过程,还使软件设计师能够在没有深厚硬件设计经验的情况下创建基于FPGA的硬件设计。
我们为GHA创建了两个版本的基于FPGA-HLS的硬件架构:一个具有内存映射接口,另一个具有流式接口。对于这两个版本,我们提出的基于FPGA-HLS的GHA硬件IP的内部硬件架构在功能性和数据流方面非常相似;然而,由于与DDR4-SDRAM的数据传输方式不同,版本之间存在一些细微差异。对于这两个版本,我们都使用为我们的嵌入式软件GHA设计的嵌入式C代码,并将其转换为可综合的C代码,以创建基于FPGA-HLS的GHA硬件IP。
在这项研究工作中,对于我们的基于FPGA-HLS的GHA硬件架构,我们采用了多种HLS指令(即准则),包括循环展开、流水线处理和接口规范,以优化我们的设计。通常,Vitis HLS支持各种优化技术 and 指令,以进一步提高基于HLS的硬件设计的效率[78]。这些优化技术使我们能够利用FPGA的固有并行性和流水线特性,显著提高我们提出的基于FPGA-HLS的GHA硬件架构的性能指标。此外,由HLS工具生成的RTL(寄存器传输级)设计可以轻松地部署在不同的FPGA设备上,并且只需进行最小的修改,从而使基于HLS的设计更具通用性。
在设计阶段,HLS生成的GHA RTL设计被配置并打包为AMD/Xilinx Vivado IP,然后通过AXI接口集成到系统级架构以及Zynq SoC中。AXI接口提供了处理系统(PS)和可编程逻辑(PL)之间所需的通信。如第3节所述,我们的基于FPGA-HLS的GHA硬件架构在Zynq ZCU104 FPGA开发板[62]上执行,该开发板包含Zynq UltraScale+ XCZU7EV-2FFVC1156 MPSoC。对于我们的设计,基于HLS的GHA硬件架构實现在PL上,而由ARM处理器组成的PS用于监控和控制GHA硬件的处理。例如,PS发送一个信号给PL以开始处理GHA,并在处理完成后从PL接收一个信号;PS还管理输入数据。

4.1. Vitis高级综合(HLS)过程
我们使用Vitis HLS 2024.1来创建基于内存映射接口和基于流式接口的FPGA-HLS的GHA硬件IP,这是根据Vitis HLS用户指南[79]中的Vitis HLS设计流程进行的。我们两个版本的GHA硬件IP模块都是用可综合的C/C++代码编写的。对于我们的两个设计版本,我们使用Vitis HLS从这些可综合的C/C++代码生成RTL设计/代码作为输入。接下来,我们将这些RTL设计/代码导出为Vivado IP核心(或Vitis内核)。这些Vivado IP核心被部署在Zynq UltraScale + MPSoC FPGA的可编程逻辑(PL)区域。然后,我们使用第3.3节中详述的五个基准数据集来验证GHA硬件模块的功能。在这种情况下,Vitis HLS以符合目标FPGA设备的时序约束的方式生成RTL设计/代码,从而使得提出的设计可以在不同的FPGA设备上重复使用。
Vitis HLS设计套件具有多种编译器指令(或准则),例如循环流水线处理、循环展开和函数内联,可以用来增强所提设计的各种性能指标(包括延迟、吞吐量、占用的硬件资源等)[66,79]。例如,循环流水线处理允许连续迭代循环的同时执行,提高了计算内核(如GHA中的内核)的吞吐量。同样,循环展开复制了循环体,允许在向量-矩阵运算中同时计算多个元素。因此,我们使用Vitis HLS设计工具提供的各种HLS指令/准则(包括循环流水线处理和展开)来优化我们两个版本的GHA硬件IP的可综合C/C++代码,以实现最佳的延迟、吞吐量和硬件资源利用率。
特别是对于基于流式接口的FPGA-HLS的GHA硬件IP,我们使用HLS流式库来流式传输输入和输出数据,以进一步提高加速性能。在这种情况下,我们采用AXI-Stream协议和AXI-Stream FIFO来提供流式接口,以实现最大吞吐量。
我们的两个版本的嵌入式硬件IP模块都在Zynq UltraScale+ ZCU104 FPGA板上执行,该FPGA的工作频率为100 MHz。由于我们的FPGA运行在100 MHz,我们的设计目标时钟频率也是100 MHz(即时钟周期为10 ns)。如[79]所述,HLS设计套件有两个“流目标”选项:(1)Vivado IP流目标,和(2)Vitis内核流目标。流目标决定了应用于合成设计的接口端口。在这两个选项中,我们采用了“Vivado IP流目标”来创建我们的设计。HLS设计工具生成了Verilog和VHDL两种格式的RTL设计/代码。使用HLS打包功能,我们将两个版本的RTL设计/代码导出为Vivado IP,使这些IP能够无缝集成到Zynq处理系统(PS)中。

4.2. 具有内存映射接口的Vitis HLS GHA硬件IP
最初,我们使用Vitis HLS和内存映射接口创建了我们的基于FPGA-HLS的GHA硬件架构。使用内存映射接口的基于FPGA-HLS的GHA硬件的高级架构如图4所示。在这种设计中,我们自定义和优化的GHA硬件IP核心将其控制、输入和输出信号作为可寻址寄存器暴露出来,允许ARM Cortex-A53处理器通过寄存器直接与GHA硬件IP核心进行读写操作。这种直接的通信方法通过使用简单的内存操作简化了软件控制和调试,而不是复杂的数据管理协议。

4.3. 具有流式接口的Vitis HLS GHA硬件IP
我们对基于内存映射接口设计的实验结果和分析表明,这种设计在吞吐量和速度性能方面存在限制。为了克服这些限制,我们使用Vitis HLS和流式接口创建了下一个版本的基于FPGA-HLS的GHA硬件架构。使用流式接口的基于FPGA-HLS的GHA硬件的高级架构如图5所示。我们的基于流式接口的GHA IP是通过AXI直接内存访问(DMA)与DDR4-SDRAM接口的,其中DMA使用AXI-Stream协议在GHA IP和SDRAM之间提供高效的数据传输。这种流式接口具有许多优点,包括:(1)允许通过我们的GHA硬件IP连续数据流,而不需要不必要的内存访问,从而显著提高吞吐量并减少GHA IP的延迟;(2)实现数据的即时处理,同时避免了内存访问瓶颈。这些优点使我们的基于FPGA-HLS的GHA硬件IP能够高效有效地处理大数据集,而无需存储所有输入数据。这些优点还使我们的基于流式接口的GHA硬件IP适合实时处理大数据。
与基于内存映射接口的设计类似,我们基于流式接口的GHA硬件IP的内部架构也通过HLS优化指令(如循环流水线处理和展开)得到了进一步的改进,从而提高了计算吞吐量并减少了每次迭代的延迟。此外,使用AXI-Stream协议结合DMA使我们的基于流式接口的GHA IP能够更好地处理大数据集,具有更好的可扩展性和性能。
如图5所示,基于流式接口的GHA设计通过AXI互连与Zynq处理系统(PS)无缝集成,由时钟同步和复位模块支持。我们的GHA硬件IP的性能分析是通过AXI计时器获得的,它提供了执行周期的准确测量。这表明,基于内存映射接口的设计提供了适合数据量较小的嵌入式计算任务/算法的适度吞吐量,尽管这种方法高效且易于开发和集成。

4.4. GHA功能流程:嵌入式硬件和嵌入式软件
我们两个版本的基于FPGA-HLS的GHA硬件架构以及我们的嵌入式软件GHA架构都是受[28]中的广义Hebbian学习算法(GHA)启发的。GHA包括几个步骤。这些步骤以及我们的嵌入式硬件和软件GHA设计的功能流程在算法1[28]中介绍。
根据GHA学习规则,在训练好的网络中,每个输出神经元对应一个特征向量,输出通常按照它们相关特征值的降序排列[28]。如算法1所示,训练过程从随机初始化权重矩阵C开始,然后迭代地对其进行细化,以近似输入相关矩阵的特征向量[28]。该算法会运行多个训练周期;在每个周期中,它会处理数据集中的每个输入向量x。对于每个输入,输出向量y是通过计算C和x的点积得到的[28]。

算法1. 广义Hebbian学习算法 [28]
数据:从UCI ML存储库加载的TensorFlow库数据集
步骤1:用小的随机值初始化权重矩阵C。C(0) ∈ R(M×N),其中M是输出神经元的数量,N是输入神经元的数量,并且M < N。

步骤2:
对于每个输入训练向量x及其相应的目标输出t,执行步骤3-6。

步骤3:
计算输出向量y(t):y(t) = C(t) x(t)

步骤4:
计算外积:y(t)X^T(t) 和 y(t)Y^T(t)

步骤5:
将y(t)Y^T(t)对角线以上的所有元素设置为零,使其成为下三角矩阵:LT [y(t)Y^T(t)]

步骤6:
使用GHL规则更新权重矩阵C(t):
C(t + 1) = C(t) + η (y(t)X^T(t) ? LT [y(t)Y^T(t])C(t))
其中η是学习率。

权重更新步骤(即步骤6)对GHA至关重要。这一步涉及计算y和x的外积,以及C的转置和y的向量积[28]。这些计算会修改C,使其权重与最重要的特征向量对齐。完成训练周期后,GHA输出最终的权重矩阵C,该矩阵捕获了输入数据相关结构的前M个主要特征向量[28]。这种迭代学习过程使网络能够适应性地发现关键数据模式。收敛定理确保GHA可靠地找到正确的特征向量,而无需预先计算完整的相关矩阵Q[28]。

我们提出的嵌入式GHA硬件架构旨在结合GHA的某些生物特性[28],包括局部突触学习规则和活动依赖的权重更新,通过使用GHL规则(即算法1中的步骤6)。如算法1所示,步骤6包含两个生物成分/项:第一项基于相关的突触前和突触后活动支持突触;第二项支持学习过程,每次权重更新都依赖于输入训练向量x(t)和输出向量y(t)。这个GHL规则保留了生物神经元的适应行为,即突触强度会随着时间的推移逐渐演变,基于流式输入[28]。

5. 实验结果与分析
我们进行实验,以评估我们提出的基于FPGA-HLS的嵌入式硬件架构/加速器(针对内存映射接口和流式接口版本)在神经形态计算中的可行性和效率。我们使用我们提出的嵌入式软件架构来评估这两种版本的嵌入式FPGA-HLS基GHA硬件架构。此外,我们还使用之前为GHA引入的软件架构[61]在桌面计算机上执行实验,以验证这两种版本的嵌入式FPGA-HLS基GHA硬件IP以及GHA嵌入式软件架构的正确功能。

我们所有的嵌入式硬件和嵌入式软件实验都是在Xilinx/AMD ZCU104 FPGA开发板上进行的,该板由Zynq UltraScale+ XCZU7EV-2FFVC1156 MPSoC组成。我们提出的基于FPGA-HLS的GHA硬件架构在Zynq UltraScale + MPSoC FPGA上运行,频率为100 MHz,而我们提出的嵌入式软件GHA架构则在同一FPGA上的ARM Cortex-A53硬核嵌入式处理器上运行,频率为1.2 GHz。

从我们的实验中,我们获得了各种性能指标/结果,包括执行时间(因此是加速比)、分类准确性、收敛率、错误率、可扩展性和功耗。可扩展性指标用于展示我们的嵌入式设计处理不同数据集的能力,这些数据集具有不同的数据大小、不同的属性数量以及其他在许多神经形态计算相关应用中常见的不同参数。

我们对两种版本的嵌入式硬件GHA IP以及嵌入式软件GHA的实验结果和分析在以下小节中呈现。这些实验结果是使用Vivado 2024.1生成的实现后结果。需要注意的是,我们的嵌入式硬件和嵌入式软件结果是在Zynq FPGA上实时获得的,而桌面软件结果是在桌面计算机上通过仿真获得的。

考虑到我们对现有工作的研究(第2.3节中所述),在已发表的文献中没有使用HLS在FPGA上的GHA硬件架构。因此,在本文中,我们没有报告与现有GHA硬件设计的直接性能比较。

在这项研究中,我们针对五个不同的基准数据集(Wine [71]、帕金森病 [72]、心脏病 [73]、肝病 [74] 和乳腺癌 [75])进行了实验,以评估我们的嵌入式硬件和嵌入式软件架构。这些输入数据集最初存储在片外DDR4-SDRAM内存中,然后通过AXI总线转发到硬件模块/IP。我们使用AXI-Timer来测量这两种版本的嵌入式硬件IP和嵌入式软件模块/架构的执行时间。

我们所有的实验(针对嵌入式硬件和软件)都重复进行了10次,不仅是为了确保结果的可靠性,也是为了对结果进行平均。为了初始化GHA的权重,我们使用均匀分布进行随机初始化,类似于[80,81]。此外,我们还进行了设计空间探索(DSE)以确定GHA的超参数的最佳值。从我们的DSE中,我们选择了以下超参数的最佳值:学习率为0.01,训练周期数为100。这些值可以带来稳定的学习和良好的性能。

5.1 分类准确性、收敛率和错误率的分析:嵌入式硬件GHA
在本小节中,我们展示了我们嵌入式硬件GHA架构在分类准确性、收敛率和错误率方面的实验结果和分析。

5.1.1 性能比较:分类准确性
如[82]所述,分类准确性是一个性能指标,反映了分类数据集中的错误数量,并表明了特定算法(在我们的案例中是GHA)从特征中提取的分类效果。分类准确性用于指示算法从原始输入数据中捕获有意义和区分性表示的有效性,通常用于评估无监督学习方法的性能[82]。

为了获得分类准确性,我们将数据集分为训练集和测试集。测试集被视为数据集的一部分,用于研究分类准确性和错误率。然后,我们进行了三组实验:(1)首先,使用70%的数据作为训练集,30%的数据作为测试集;(2)其次,使用30%的数据作为训练集,70%的数据作为测试集;(3)第三,使用50%的数据作为训练集,50%的数据作为测试集。这些实验结果表明,第二组(仅使用30%的数据作为训练集)仍然实现了高分类准确性。

因此,在本文中,我们决定在表3(第2列)中报告第二组的数据分类准确性结果(即使用30%的数据作为训练集,70%的数据作为测试集)。在这种情况下,我们的两种嵌入式硬件GHA架构获得了相同的分类准确性结果。嵌入式硬件和嵌入式软件GHA设计之间相同的分类准确性结果可以归因于所有嵌入式硬件/软件模块/IP使用了单精度FPU。表3显示了基于内存映射接口和流式接口的基于FPGA-HLS的GHA分类准确性结果。从表3(第2列)可以看出,四个数据集(Wine、帕金森病、心脏病和肝病)的分类准确性相当高,而乳腺癌数据集的分类准确性显著较低。我们选择不同范围的数据集(即五个具有不同数据大小和不同特征的数据集)的目的是为了展示GHA适用于不同应用/领域的适用性(或不适用性)。这些结果确实表明,我们嵌入式硬件和软件GHA生成的分类准确性会根据数据集和相应应用/领域而变化。

5.1.2 性能比较:收敛率和错误率
如[83]所述,收敛率指的是算法权重接近输入数据主子空间的速度。收敛率主要取决于学习率和数据协方差矩阵的特征值分离[83]。通过优化学习率,广义赫布学习(GHL)算法可以线性地接近最优解,高效地提取GHA组件[28,83]。如[84]所述,“错误率是指模型预测误差的程度与真实模型之间的差异”。它通常是分类准确性的补充。在这项研究中,收敛率是使用下面的方程式(6)来测量的[83,85]:
(6)
其中C,opt是最优权重矩阵,对应于输入相关矩阵的特征向量,C(t)是权重矩阵[28,85],两者都来源于算法1。

与我们的分类准确性结果类似,本文报告的收敛率和错误率(分别在表3的第3列和第4列)也是使用第二组数据(即30%的数据作为训练集,70%的数据作为测试集)获得的。在这种情况下,我们的两种嵌入式硬件GHA架构也获得了相同的收敛率和错误率结果。

在表3(第3列和第4列)中,我们报告了基于内存映射接口和流式接口的我们提出的基于FPGA-HLS的GHA架构的收敛率和错误率结果。与分类准确性结果类似,两种版本的收敛率和错误率结果也相同。从表3(第3列)可以看出,所有五个数据集的收敛率都相当高。从表3(第4列)可以看出,四个数据集(Wine、帕金森病、心脏病和肝病)的分类准确性相当高,而乳腺癌数据集的分类准确性显著较低。我们选择不同范围的数据集(即五个具有不同数据大小和不同特征的数据集)的目的是为了展示GHA对于不同应用/领域的适用性(或不适用性)。这些结果确实表明,我们嵌入式硬件和软件GHA生成的分类准确性会根据数据集和相应应用/领域而变化。

5.2 空间、执行时间和加速比的分析:嵌入式硬件GHA
在本小节中,我们展示了我们嵌入式硬件GHA架构在硬件资源利用(即占用空间)、执行时间和加速比方面的实验结果和分析。

5.2.1 性能比较:硬件资源利用(空间)
我们对基于内存映射接口和流式接口的FPGA-HLS基GHA IP进行了空间分析,以了解不同数据集和不同数据大小对FPGA-HLS基设计在芯片上使用的总硬件资源的影响。我们使用相同的五个数据集来进行空间(或资源利用)实验。我们在表4中展示了Zynq ZCU104 FPGA开发板上的总可用硬件资源。表4显示了Zynq ZCU104板上的总可用硬件资源。在Vivado实现过程之后,我们获得了重要的资源利用参数,包括LUT(查找表)的数量、片上BRAM(块RAM内存)的数量、FF(触发器)的数量以及DSP48切片的数量。这些针对基于内存映射接口的FPGA-HLS基GHA IP和基于流式接口的FPGA-HLS基GHA IP的实验结果分别在表5和表6中展示,适用于所有五个数据集。表4中总可用硬件资源的百分比也包含在表5和表6中。表5显示了基于内存映射接口的FPGA-HLS基GHA硬件的资源利用情况。表6显示了基于流式接口的FPGA-HLS基GHA硬件的资源利用情况。从表5和表6中可以观察到,Wine数据集在我们的FPGA-HLS基GHA IP的两个版本中使用了最多的LUTs、FFs和DSP48切片,而Parkinsons’ Disease数据集使用的LUTs、FFs和DSP48切片最少。这些实验结果和分析表明,基于HLS的GHA硬件架构所占用的空间(即使用的硬件资源)受到不同数据集及其对应应用/领域的影响。对于所有五个数据集,还观察到基于流式接口的GHA硬件IP(表6)相比基于内存映射接口的GHA硬件IP(表5)使用了稍微少的硬件资源,尤其是在LUTs和FFs方面;而DSP48切片的使用量在两个版本中是相同的,不过基于流式接口的版本的BRAM使用量略高。这种在LUTs和FFs方面的硬件资源效率提升可以归因于流式接口设计中的流水线处理、资源共享和连续数据流,这些因素优化了硬件资源的利用,减少了硬件开销。类似的DSP48切片使用情况也可以解释为DSP48切片依赖于GHA的计算过程,而非所采用的数据传输方式。这使得基于流式接口的FPGA-HLS基GHA IP更适合资源受限(或占用空间小)的嵌入式神经形态计算设备/应用。

5.2.2 性能比较:执行时间和加速比——嵌入式硬件 vs. 嵌入式软件
我们为GHA创建了嵌入式软件架构,以评估我们提出的基于FPGA-HLS的硬件架构。我们的GHA嵌入式软件架构在Zynq FPGA上的ARM Cortex-A53嵌入式微处理器上以1.2 GHz的频率运行,而我们的GHA嵌入式硬件架构则在同一Zynq FPGA上以100 MHz的频率运行。两个版本的嵌入式GHA硬件和嵌入式GHA软件设计的执行时间是通过在ZCU104 FPGA开发板上以100 MHz运行的AXI-Timer来测量的。这些执行时间是实时测量的,同时我们的嵌入式设计实际上是在芯片上运行的。

在嵌入式硬件与嵌入式软件的性能比较中,我们使用了相同的五个数据集,这些数据集包含了不同的数据量和特征。两个版本的嵌入式GHA硬件IP和嵌入式GHA软件的实验结果分别展示在表7中。表7的第2列显示了GHA的嵌入式软件执行时间,第3列和第4列分别显示了基于内存映射接口和基于流式接口的嵌入式硬件IP的执行时间,适用于所有五个数据集。在这种情况下,每个数据集(无论是嵌入式硬件还是软件)的执行时间都测量了10次,并取平均值。表7显示,与嵌入式软件相比,基于流式接口的FPGA-HLS基GHA硬件实现了高达51.13倍的加速比,加速比随着数据集的不同而变化,范围从30.11倍到51.13倍不等。表7的第5列显示,与嵌入式软件相比,基于内存映射接口的FPGA-HLS基GHA硬件实现了高达1.26倍的加速比,加速比的变化范围从1.00倍到1.26倍不等。这些实验结果和分析表明,与基于内存映射接口的设计相比,基于流式接口的设计实现了更高的加速比。在这种情况下,流式方法利用了AXI-DMA和AXI-Streaming协议,显著降低了内存访问延迟和执行时间,从而提高了整个硬件设计的加速比。

基于流式接口的设计的加速结果很有前景,并验证了我们提出的基于FPGA-HLS的GHA硬件的效率。流式方法的低延迟允许更高的吞吐量,使其非常适合实时现场神经形态计算以及需要快速处理和分析大数据的机器学习应用。

5.3 功耗分析:嵌入式硬件GHA
在本小节中,我们展示了我们的嵌入式硬件GHA架构在功耗方面的实验结果和分析。

5.3.1 性能比较:动态功耗和静态功耗
我们对基于内存映射接口和基于流式接口的FPGA-HLS基GHA硬件IP进行了功耗分析,以了解不同数据集和数据量对FPGA-HLS基设计总功耗的影响。我们在所有功耗实验中使用了相同的五个数据集。本文中介绍的所有功耗实验都使用了Xilinx/AMD Power Design Manager (PDM) [86] 来测量在Zynq FPGA上运行的我们提出的基于FPGA-HLS的GHA硬件IP的估计功耗。Xilinx PDM是一款新的功耗工具,专为包括Xilinx/AMD Versal AI和UltraScale+ FPGA设备在内的最先进Xilinx/AMD FPGA提供了准确和一致的功耗估计能力。

除了总片上功耗外,Xilinx/AMD PDM还使我们能够分别获得基于FPGA-HLS的GHA硬件IP的动态功耗和静态功耗结果。这五个数据集的基于内存映射接口和基于流式接口的FPGA-HLS基GHA硬件IP的实验结果分别展示在表8中,并在图6和图7中进行了说明。表8显示了基于内存映射和基于流式接口的设计的片上功耗。图6显示了不同数据集下基于内存映射接口的FPGA-HLS基GHA硬件的总片上功耗、动态功耗和静态功耗。图7显示了不同数据集下基于流式接口的FPGA-HLS基GHA硬件的总片上功耗、动态功耗和静态功耗。从表8、图6和图7中可以看出,Breast Cancer数据集对我们的两个版本的FPGA-HLS基GHA IP消耗的功耗最高,而Liver Disease数据集消耗的功耗最低。表8的第3列和第6列显示,我们的两个基于FPGA-HLS的GHA IP在所有五个数据集下的静态功耗几乎相同(即0.693–0.694 W)。表8的第2列显示,基于内存映射接口的FPGA-HLS基GHA硬件的动态功耗随着数据集的不同而变化,范围为2.951至3.018 W。表8的第5列显示,基于流式接口的FPGA-HLS基GHA硬件的动态功耗随着数据集的不同而变化,范围为2.854至2.890 W。这些实验结果和分析表明,基于HLS的GHA硬件架构的功耗受到不同数据集及其对应应用/领域的影响。

对于所有五个数据集,从表8和图8中还可以看出,基于流式接口的GHA硬件IP(第7列)相比基于内存映射接口的GHA硬件IP(第4列)消耗的功耗更少,尤其是在动态功耗方面。这种功耗效率的提升可以归因于基于流式接口的设计优化了硬件资源的利用、连续数据流以及消除了寄存器访问的开销。这使得基于流式接口的FPGA-HLS基GHA硬件IP更适合资源受限(或占用空间小)的嵌入式和便携式系统,包括嵌入式神经形态计算平台/应用。

5.3.2 性能比较:功耗分解——处理系统(PS) vs. 可编程逻辑(PL)
接下来,我们区分了基于内存映射接口和基于流式接口的FPGA-HLS基GHA硬件IP的处理系统(PS)与可编程逻辑(PL)之间的功耗分解结果。在这种情况下,我们仅使用Wine数据集来展示和区分功耗分解结果。这些功耗分解结果分别展示在图9和图10中。从图9中可以看出,处理系统在基于内存映射接口的设计中消耗了2.962 W动态功耗中的2.643 W,即89.23%的动态功耗。从图10中可以看出,处理系统在基于流式接口的设计中消耗了2.860 W动态功耗中的2.639 W,即92.27%的动态功耗。考虑到总片上功耗(来自图9和图10),处理系统分别消耗了75.02%和77.08%的总片上功耗。使用其他数据集也得到了类似的结果。

这些实验结果和分析表明,与基于内存映射接口的设计相比,基于流式接口的设计实现了非常高的加速比。这种流式方法利用了AXI-DMA和AXI-Streaming协议,显著降低了内存访问延迟和执行时间,从而提高了整个硬件设计的加速比。基于流式接口的设计的加速结果很有前景,并验证了我们提出的基于FPGA-HLS的GHA硬件的效率。流式方法的低延迟允许更高的吞吐量,使其非常适合实时现场神经形态计算以及需要快速处理和分析大数据的机器学习应用。

5.3.2 性能比较:功耗分解——处理系统(PS) vs. 可编程逻辑(PL)
接下来,我们区分了基于内存映射接口和基于流式接口的FPGA-HLS基GHA硬件IP的处理系统(PS)与可编程逻辑(PL)之间的功耗分解结果。在这种情况下,我们仅使用Wine数据集来进行展示和区分功耗分解结果。这些功耗分解结果分别展示在图9和图10中。从图9中可以看出,在基于内存映射接口的设计中,处理系统消耗了2.962 W动态功耗中的2.643 W,即89.23%的动态功耗。从图10中可以看出,在基于流式接口的设计中,处理系统消耗了2.860 W动态功耗中的2.639 W,即92.27%的动态功耗。考虑到总片上功耗(来自图9和图10),处理系统分别消耗了75.02%和77.08%的总片上功耗。使用其他数据集也得到了类似的结果。

这些实验结果和分析表明,片上功耗的主要部分是由处理系统(PS)消耗的,而不是可编程逻辑(PL)。这可以归因于构成处理系统的ARM Cortex-53微处理器的高运行频率(即1.2 GHz)。这些结果表明,在实际应用中,通过仅使用FPGA(即PL)并去除高性能嵌入式微处理器,我们可以构建更节能的嵌入式神经形态计算设备。

6. 结论与未来工作
在本文中,我们介绍了一种新型且高效的基于FPGA-HLS的GHA硬件加速器,用于神经形态计算平台/应用。我们为FPGA-HLS基GHA创建了两个不同的硬件版本:一个使用内存映射接口,另一个使用流式接口。对于这两个硬件版本,我们采用了几种现有的基于HLS的硬件优化技术来提升性能指标,包括加速比和面积效率。特别是对于基于流式接口的硬件版本,我们使用了HLS流式库来进一步提高GHA硬件架构的性能指标,尤其是加速比。

我们进行了实验来评估我们提出的基于FPGA-HLS的GHA硬件加速器的面积、时序、加速比、分类准确性、错误率、收敛率和功耗等方面的可行性和效率。所有的实验结果都是在我们的嵌入式硬件/软件设计实际运行在芯片上时获得的。在实验中,我们使用了来自不同领域的五个基准数据集,这些数据集具有不同的数据量和属性数量,以评估上述性能指标以及可扩展性指标。可扩展性指标将决定我们提出的GHA硬件加速器适应不同神经形态计算应用中不同数据集的能力。

根据我们的实验结果和分析,从执行时间和加速比来看,基于流式接口的FPGA-HLS基GHA IP的加速比在与嵌入式软件相比时,随着数据集的不同而从31.11倍变化到51.13倍;而基于内存映射接口的FPGA-HLS基GHA IP的加速比在与嵌入式软件相比时,随着数据集的不同而从0.46倍变化到2.30倍。在这些实验中,所有的硬件设计都在以100 MHz运行的Zynq FPGA上执行,而嵌入式软件设计则在同一FPGA上的ARM Cortex-A53嵌入式处理器上以1.2 GHz的频率运行。这些结果表明,基于流式接口的硬件版本的加速比显著提高。这些加速结果很有前景,并证明了我们提出的基于FPGA-HLS的GHA硬件IP在神经形态计算领域的有效性。

从占用面积(或硬件资源利用率)来看,基于流式接口的FPGA-HLS基GHA硬件IP在芯片上占用的面积小于基于内存映射接口的GHA硬件IP,尤其是在LUTs和FFs方面;而DSP48切片的使用量在两个版本中是相同的,不过基于流式接口的版本的BRAM使用量略高。从功耗来看,基于流式接口的FPGA-HLS基GHA硬件IP消耗的功耗小于基于内存映射接口的GHA硬件IP,尤其是在动态功耗方面。空间和功耗的结果还表明,基于HLS的GHA硬件架构的功耗受到不同数据集及其对应应用/领域的影响。

从表8和图8中还可以看出,基于流式接口的GHA硬件IP相比基于内存映射接口的GHA硬件IP(第7列)消耗的功耗更少,尤其是在动态功耗方面。这种功耗效率的提升可以归因于基于流式接口的设计优化了硬件资源的利用、连续数据流以及消除了寄存器访问的开销。这使得基于流式接口的FPGA-HLS基GHA硬件IP更适合资源受限和便携式系统,包括嵌入式神经形态计算平台/应用。

6. 结论与未来工作
在本文中,我们介绍了一种新型且高效的基于FPGA-HLS的GHA硬件加速器,用于神经形态计算平台/应用。我们为FPGA-HLS基GHA创建了两个不同的硬件版本:一个使用内存映射接口,另一个使用流式接口。对于这两个硬件版本,我们采用了多种可用的基于HLS的硬件优化技术来提升性能指标,包括加速比和面积效率。特别是对于基于流式接口的硬件版本,我们使用了HLS流式库来进一步提高GHA硬件架构的性能指标,尤其是加速比。我们进行了实验来评估我们提出的基于FPGA-HLS的GHA硬件加速器在面积、时序、加速比、分类准确性、错误率、收敛率和功耗等方面的可行性和效率。所有实验结果都是在我们的嵌入式硬件/软件设计实际运行在芯片上时获得的。在实验中,我们使用了来自不同领域的五个基准数据集,这些数据集具有不同的数据量和属性数量,以评估上述性能指标以及可扩展性指标。可扩展性指标将决定我们提出的GHA硬件加速器适应不同神经形态计算应用中不同数据集的能力。

根据我们的实验结果和分析,从执行时间和加速比来看,基于流式接口的FPGA-HLS基GHA IP的加速比在与嵌入式软件相比时,随着数据集的不同而从31.11倍变化到51.13倍;而基于内存映射接口的FPGA-HLS基GHA IP的加速比在与嵌入式软件相比时,随着数据集的不同而从0.46倍变化到2.30倍。在这些实验中,所有的硬件设计都在以100 MHz运行的Zynq FPGA上执行,而嵌入式软件设计则在同一FPGA上的ARM Cortex-A53嵌入式处理器上以1.2 GHz的频率运行。这些结果表明,基于流式接口的硬件版本的加速比显著提高。这些基于流式接口的硬件版本的加速结果很有前景,并证明了我们提出的基于FPGA-HLS的GHA硬件IP在神经形态计算领域的有效性。

从占用面积(或硬件资源利用率)来看,基于流式接口的FPGA-HLS基GHA硬件IP在芯片上占用的面积小于基于内存映射接口的GHA硬件IP,尤其是在LUTs和FFs方面;而DSP48切片的使用量在两个版本中是相同的,不过基于流式接口的版本的BRAM使用量略高。从功耗来看,基于流式接口的FPGA-HLS基GHA硬件IP消耗的功耗小于基于内存映射接口的GHA硬件IP,尤其是在动态功耗方面。空间和功耗的结果还表明,基于HLS的GHA硬件IP的功耗受到不同数据集及其对应应用/领域的影响。从分类准确性和错误率来看,我们提出的两个版本的FPGA-HLS基GHA IP都达到了与嵌入式软件架构相同的分类准确性、错误率和收敛率结果,这表明这些结果不受我们的硬件设计决策的影响。这些结果使得基于流式接口的FPGA-HLS基GHA IP更适合资源受限和功耗受限的嵌入式和便携式系统,包括嵌入式神经形态计算平台/应用。

这些实验结果令人鼓舞,并展示了使用基于FPGA的架构来支持神经形态计算应用的巨大潜力,尤其是在资源受限的神经形态设备/平台上。根据我们对现有文献的调查,并且据我们所知,目前发表的学术文献中尚未有过类似的研究,即开发出基于FPGA和HLS(High-Level Synthesis)的硬件加速器,用于神经形态计算应用/平台中的图形处理加速器(GHA)。这凸显了我们工作的独特性。作为未来的研究方向,我们计划研究并整合动态及部分重构技术[40,87],以构建动态可重构架构(类似于[88,89,90]),从而实现实时适应不同的工作负载和数据特性,进一步提升我们提出的基于FPGA和HLS的GHA硬件IP的适应性。此外,我们还将探索并行计算架构(如[91]),以进一步提升加速性能,同时考虑资源受限的神经形态计算平台在速度与资源之间的平衡。为此,我们将把多端口内存设计(如[92])集成到潜在的并行计算硬件架构中,这将显著提升系统的速度和性能。在未来的工作中,我们还计划使用规模更大的数据集(具有连续性、时间性或事件驱动的特征)来测试我们的HLS基GHA架构;分析乳腺癌数据集的分类准确率较低的问题;探索各种硬件优化技术(如低精度定点运算或定制量化)的可行性,以进一步提高GHA硬件加速器的面积效率和能效;研究其他硬件加速器(如[93,94]中所提到的方案);同时评估其他性能指标,包括每秒操作次数或每次操作所需的能量等标准化指标。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号