PSO–GP：一种基于进化优化的激活函数近似方法，用于提升硬件效率的神经网络

《Computers and Electrical Engineering》：PSO–GP: An evolutionary optimization-based activation function approximation for hardware efficient neural network

　　摘要：近年来，深度神经网络和卷积神经网络在硬件加速方面的进展，使得在资源受限的平台（如现场可编程门阵列和专用集成电路）上部署精确且复杂度低的非线性激活函数变得愈发重要。然而，现有方法往往无法同时优化函数的近似精度与硬件效率。为解决这一问题，本文提出了一种基于粒子群优化和遗传编程的混合优化框架，用于高效实现激活函数的近似。该框架的核心在于对区间划分和分段系数进行联合优化：粒子群优化负责确定最优的分段边界，而遗传编程则构建分段线性模型以最小化整体近似误差。这种统一的方法使得可以在精度与复杂度之间实现精准平衡。将该框架应用于Sigmoid和双曲正切激活函数后，分别获得了2.77×10?4和4.74×10?4的平均绝对误差，最大误差控制在1.72×10?3和2.63×10?3之间，且仅需13–14个分段即可实现。从硬件角度而言，该设计避免了指数运算和除法等计算成本较高的操作，取而代之的是简单的算术运算及基于比较器的区间选择方式。实验结果显示，与现有最先进方案相比，该设计在查找表使用量上可减少64.37%，能耗降低57.1%。此外，将这类近似函数集成到用于MNIST分类的深度神经网络和卷积神经网络架构中后，无需重新训练即可分别达到97.75%和98.45%的准确率，从而在大幅简化硬件的同时保持了推理的准确性。因此，该框架为激活函数近似提供了一种可扩展且高效的解决方案，能为新一代基于FPGA和ASIC的神经网络带来近乎精确的数值精度以及更低的实现复杂度。

引言：近年来，深度神经网络在图像识别、语音处理和模式分类等诸多领域取得了卓越的性能表现。随着技术的快速发展，模型的复杂性也在不断上升，现代神经网络架构通常包含数百万乃至数十亿个参数，每次推理需要执行数十亿次算术运算。因此，在传统的通用处理器（如中央处理单元和图形处理单元）上运行深度神经网络任务时，往往会出现较高的延迟和能耗问题。例如，由于数据需要在内存与计算单元之间频繁传输，内存访问往往占据总能耗的很大比例，甚至超过算术运算的能耗。冯·诺伊曼架构带来的内存瓶颈进一步加剧了这一问题，它限制了数据传输带宽，增加了数据密集型任务的执行时间。这使得这类处理器难以满足实时系统和嵌入式系统的高要求，比如自动驾驶系统、边缘计算设备以及物联网装置，这些应用对低延迟、高吞吐量和能效有着极高的需求。正是出于这些原因，人们亟需能够实现高效且可扩展的深度神经网络计算方式的替代方案。为应对这些挑战，专用硬件加速器，尤其是专用集成电路和现场可编程门阵列，逐渐成为主流解决方案。专用集成电路是为特定的计算内核定制的，它能够实现优化的数据流处理、减少芯片外内存访问，并具备细粒度的并行处理能力，从而提升性能和能效，非常适合在对能效要求极高的边缘设备和数据中心中使用。而现场可编程门阵列则具有可重构的特性，便于快速原型设计以及后续的适配调整，能够高效地适配各种不同的神经网络模型和不断变化的任务需求。此外，通过可定制的精度、并行度和内存层次结构，现场可编程门阵列还能帮助在设计阶段找到性能与资源利用之间的最佳平衡点。总体而言，这些技术为在资源受限且对延迟敏感的环境中实现高效的深度神经网络加速提供了有力支持，同时也推动了下一代智能系统在硬件与软件协同设计方面的创新。除了传统计算平台之外，高效硬件实现的需求还延伸到了嵌入式系统和物联网应用领域，这些领域对能效和低延迟推理有着极为严格的要求。在这些环境中，基于粒子群优化等优化技术已被证明在解决复杂的资源受限设计问题方面具有显著效果，这也进一步推动了将此类技术在基于硬件意识的近似框架中的应用。从架构层面来看，深度神经网络由多个相互连接的神经元层组成。每个神经元都会先执行一系列乘累加运算，然后再应用非线性激活函数。虽然乘累加运算可以通过专用算术单元高效完成，但在神经网络加速器中，激活函数往往才是决定计算成本和硬件开销的关键因素。在硬件加速器的背景下，这一问题更为突出，因为整个系统的效率在很大程度上取决于非线性运算的复杂程度。在各类激活函数中，Sigmoid函数和双曲正切函数因其能够实现有界且连续的函数变换而被广泛使用，这样的特性对于确保学习过程的稳定性和信号传播的可控性至关重要。这两种激活函数的数学表达式分别为：σ(x)=1/(1+e^?x)，Tanh(x)=(e^x?e^?x)/(e^x+e^?x)。它们所提供的有界连续非线性变换，是调控深度神经网络中信号传播速度和稳定学习动态的基础。然而，由于这些函数在实现时依赖于指数运算和除法运算，而这些运算本身计算成本较高，且并不适合高效的数字实现，因此在硬件中直接实现它们颇具难度。在硬件架构中，指数函数的计算是导致复杂度升高的主要因素。要实现精确计算，通常需要采用迭代方法、高阶多项式近似或大型查找表，而这些方法都会在芯片面积、能耗以及设计复杂度方面带来较大的负担。此外，这类实现方式还容易导致较长的组合逻辑路径，进而影响时序约束的满足，限制系统的工作频率。正因如此，基于指数运算的激活函数常常成为高吞吐量、资源受限的神经网络加速器中的性能和能耗瓶颈。为降低与非线性激活函数相关的硬件复杂度，人们提出了多种近似技术，以减少其硬件成本。基于查找表的方法虽然能够实现较高的近似精度，但需要大量的内存资源。基于CORDIC算法的方法则将复杂的运算转化为一系列移位和加法操作，从而降低了算术复杂度，但代价是增加了控制逻辑的复杂度以及迭代延迟。多项式和泰勒级数近似方法虽然提供了系统化的近似框架，但却需要高阶的乘法器和累加器，从而导致较高的硬件开销。相比之下，分段近似技术通过将输入域划分为多个区间，再利用简单高效的算术运算对每个区间进行近似，从而简化了非线性函数的表达形式，使得在近似精度与硬件效率之间实现更好的平衡。不过，大多数现有的分段线性近似方法仍然依赖人工定义的分段方式或启发式的系数选择，这可能导致近似精度不佳，也无法充分利用硬件资源。为克服这些局限，进化优化技术为自动探索复杂的大型设计空间提供了系统化的方法。其中，遗传编程擅长通过符号化表示来建模非线性函数，而粒子群优化则擅长在高维搜索空间中优化连续参数。正是得益于这两种方法的互补优势，本文提出了基于粒子群优化与遗传编程的混合框架，用于高效实现神经网络激活函数的近似。在该框架中，Sigmoid函数和双曲正切函数的近似被转化为一个优化问题：遗传编程负责构建分段线性模型，而粒子群优化则负责确定最优的区间划分方式，从而在满足硬件约束的前提下最小化近似误差。除了近似精度之外，本文还从硬件角度出发，使用针对专用集成电路的性能指标来评估所提出的方法，包括芯片面积、关键路径延迟以及能耗。此外，为了评估该方法在实际应用中的效果，还将该近似后的Sigmoid函数集成到用于MNIST手写数字识别的深度神经网络和卷积神经网络架构中。实验结果表明，该框架在显著降低近似误差和硬件开销的同时，依然保持了较高的分类精度。这些结果充分证明了该方法在实现专用集成电路基神经网络加速器中高效的非线性激活函数方面具有显著优势。值得一提的是，所提出的粒子群优化与遗传编程框架通过耦合的全局搜索，同时优化区间划分边界和线性近似系数，这与那些要么启发式确定边界，要么分别优化边界和系数的现有方法有所不同。据作者所知，这是首篇将分段线性激活函数近似问题视为一个针对硬件部署的二元进化优化问题的研究。本文的主要贡献如下：1. 统一的粒子群优化与遗传编程优化框架：本文提出了一种完全自动化的混合框架，无需人工进行分段处理或启发式参数调整。该框架仅使用13个分段即可将Sigmoid函数的平均绝对误差控制在2.77×10?4，最大绝对误差控制在1.72×10?3，性能优于那些需要更多分段或近似误差更高的现有方法。2. 高效的激活函数硬件设计：该框架在硬件层面表现出极高的效率，在现场可编程门阵列上仅需31个查找表和27个触发器，相较于基于NN-LUT的设计，查找表使用量减少了64.37%，触发器数量减少了58.46%。在专用集成电路层面，该设计的芯片面积为800μm2，能耗为0.14mW/GHz，相比之前的实现方案，芯片面积减少了52.2%，能耗降低了57.1%。3. 更高的精度与更低的复杂度：与现有最先进方法相比，该框架在更少的分段情况下就能实现更低的近似误差。具体而言，使用13个分段即可将平均绝对误差控制在2.7×10?4，而其他竞争方法则需要14–24个分段，或者其平均绝对误差会高于10?3，显示出显著更好的精度与复杂度平衡表现。4. 实际应用层面的神经网络验证：该近似方法在MNIST分类任务中得到了验证，应用于深度神经网络时准确率为97.75%，应用于卷积神经网络时准确率为98.45%。这些结果与使用精确激活函数时的准确率（分别为97.37%和98.96%）相当甚至更高，充分表明即便硬件进行了大幅简化，系统的性能也几乎不受影响。5. 显著的系统级效率提升：该设计实现了最低的面积-延迟乘积为720μm2ns，能量-延迟乘积为0.1134mWns2，相比最接近的现有设计，分别提升了56.4%和13.7%。这些结果充分证明了所提出的粒子群优化与遗传编程框架是一种高效且可扩展的解决方案，适用于硬件加速的神经网络推理任务。本文的其余部分结构如下：第二部分简要回顾了现有的非线性激活函数近似方法；第三部分介绍了所提出的基于粒子群优化与遗传编程的近似框架，第四部分则阐述了实验设置与评估指标；第五部分展示了Sigmoid函数和双曲正切函数在仿真及硬件实现方面的结果与分析；第六部分讨论了将所提出的Sigmoid函数近似方法应用于深度神经网络和卷积神经网络模型中的情况，并评估了其对分类精度的影响，作为实际应用案例；最后，第七部分对全文进行总结。最后，通过将近似Sigmoid函数整合到DNN和CNN模型中，从应用层面评估了其效果，从而验证了其在神经网络中的实际应用价值。为验证所提出的PSO–GP分段线性近似方法在真实机器学习任务中的实用性，该近似方法被整合到针对MNIST基准数据集上的手写数字识别训练的神经网络模型中。本研究考虑了两种典型的神经网络架构：一种是由五层全连接层构成的DNN，另一种是由两层卷积层、两层池化层以及两层全连接层构成的CNN。

结论：本文提出了PSO–GP这一统一的进化优化框架，用于高效地近似非线性激活函数。通过结合粒子群优化对区间划分进行优化，以及利用遗传编程优化段系数，该方法能够为Sigmoid和Tanh函数生成高度精确的分段线性模型。所得近似模型的平均绝对误差分别低至2.77×10?4（Sigmoid）和4.74×10?4（Tanh），对应的最大误差值也相当低。

利益冲突声明：作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

Mahendra Kumar Gurve | Gaurav Kumar | Anuj Kumar | Satyadev Ahlawat | Yamuna Prasad
印度贾姆穆印度理工学院计算机科学与工程系