吞吐量约束下的神经网络加速器流水线方法论

《Computers & Operations Research》：A pipeline methodology for neural network accelerators under a throughput constraint

　　

摘要神经网络已获得广泛普及，尤其是在硬件加速器的背景下。这些加速器通常根据吞吐量、功耗和能效等优化标准进行设计，这些标准之间存在固有的权衡。它们通常由一个具有可配置数量并行处理元素的神经处理单元以及内部内存资源组成。本文探讨了通过引入额外的优化维度来提高处理吞吐量并实现更好权衡的可行性。具体来说，我们探索了一种涉及多个不同神经处理单元实例的流水线配置。我们提出了一种简单且通用的方法论，适用于多种前馈神经网络加速器。我们表明该问题可以表述为流水线平衡问题的一个特定情况，并扩展了一种具有多项式时间复杂度的著名动态规划方法来精确求解该问题。所提出的方法论在一个真实的工业硬件加速器原型上进行了验证，该原型具有相关标准的评估函数。实验结果表明，流水线配置在不降低其他考虑标准的情况下，显著提高了系统吞吐量。分节片段引言与相关工作神经网络已成为极其流行的技术（LeCun等人，2015）。目前，学术界和工业界在神经网络加速器的设计和优化方面有非常活跃的研究（参见Sze等人的综述，2017）。这项研究活动非常重要，因为如今大多数个人电脑都配备了神经网络加速器；此类加速器也广泛应用于嵌入式系统中。这些神经处理单元旨在优化多个标准，本工作的前馈神经网络与硬件架构描述本节介绍了本工作中考虑的前馈神经网络和硬件架构。第2.1节神经网络与特征图的描述、第2.2节神经处理单元工作原理分别简要介绍了前馈神经网络和所考虑的神经处理单元。接下来是第2.3节，该节通过一个小示例来说明问题。然后第2.4节提供了流水线的描述。问题的建模本节介绍了所考虑的优化问题及其与流水线平衡问题的关系。第3.1节描述了映射到流水线的结构。第3.2节定义了流水线吞吐量，并展示了如何通过改变每个神经处理单元中的处理元素数量来调整它。第3.3节介绍了几个通常考虑的其他标准。最后，第3.4节总结了所解决的问题并讨论了其算法描述本节专门介绍所实现的动态规划算法和一个说明性示例。让我们考虑我们问题的一个实例，其周期具有固定的最大值???。对于任意满足??≤?的数对(??,?)∈[0,??1]2，我们将???([??,?],???)定义如下：1. 如果∑???=??????(??max)≤???，则???([??,?],???)是目标函数??在假设连续层????…,???被分配到同一神经处理单元时的限制。2. 否则，吞吐量实验结果本节旨在展示我们在真实系统上使用动态规划算法进行的实验。第5.1节简要介绍了工业原型Gemini-1的标准评估（Oudrhiri等人，2023）。所考虑的神经网络在第5.2节中详细介绍。第5.3节表明，可以考虑流水线架构来大幅降低评估固定神经网络所需的最小周期，代价是延迟增加。在结论在本文中，我们开发了一种通用方法论，用于在满足吞吐量约束的情况下使用神经网络加速器优化多个标准。该方法论确定了流水线架构以及层到神经处理单元的映射。所提出的算法是精确的、高效的，并表现出低计算复杂度。通过在工业原型上的实验，我们证明流水线结构可以实现超越的吞吐量，CRediT作者贡献声明Ali Oudrhiri：撰写 – 初稿，形式分析，概念构思。Alix Munier Kordon：验证，监督，方法论，形式分析，概念构思。致谢两位作者感谢意法半导体和ANRT对这项研究的资助。Ali Oudrhiri | Alix Munier Kordon索邦大学，法国国家科学研究中心，LIP6，巴黎，法国