《Electronics》：High Accuracy Power Optimized FPGA Implementation for GELU Function: A Chebyshev Approach
编辑推荐：
高斯误差线性单元（GELU）在现代深度学习模型中被广泛采用，尤其在Transformer架构中，因其平滑的门控行为和良好的收敛性质。然而，高效的硬件实现具有挑战性，因为GELU同时嵌入了三次项和tanh函数，这对FPGA和ASIC实现而言成本高昂。现有方法，如
高斯误差线性单元（GELU）在现代深度学习模型中被广泛采用，尤其在Transformer架构中，因其平滑的门控行为和良好的收敛性质。然而，高效的硬件实现具有挑战性，因为GELU同时嵌入了三次项和tanh函数，这对FPGA和ASIC实现而言成本高昂。现有方法，如查找表（LUT）、分段线性（PWL）近似和CORDIC迭代，简化了计算，但受到存储开销、精度降低或迭代延迟的影响，限制了它们在高性能加速器中的应用。本文提出了一种基于切比雪夫多项式近似的tanh(x)在GELU函数中的实现，并使用Clenshaw递推进行评估。该方法确保了极小极大（minimax）误差分布，同时避免了LUT存储和迭代操作，使其非常适合定点FPGA数据路径。在Xilinx Artix-7 FPGA上的验证显示，与MATLAB的(V.Ra2025) GELU相比，平均绝对误差（MAE）为10-4，最大误差低于10-3，比基于分段线性（PWL）的设计误差降低约25-45倍，比多项式-LUT混合设计误差降低约一个数量级。资源和功耗结果进一步证明了所提出设计的效率，将基于切比雪夫的GELU建立为FPGA和ASIC加速器的精确且可扩展的解决方案。
**论文解读：基于切比雪夫近似的GELU函数高精度低功耗FPGA实现**
**研究背景与问题**
高斯误差线性单元（GELU）是现代深度神经网络，尤其是Transformer架构中广泛采用的非线性激活函数。其平滑概率门控特性有利于梯度传播和收敛稳定性，但GELU函数包含三次项和双曲正切（tanh）运算，直接硬件实现成本极高。传统FPGA/ASIC实现非线性函数的方法主要有三种：基于查找表（LUT）的方法需要大量片上存储，精度受限于表大小；分段线性（PWL）近似虽然简单，但误差较大，尤其在高精度推理场景下不足；CORDIC迭代方法可达到高精度，但迭代延迟和资源消耗显著。现有混合方法（如多项式-LUT结合）在精度和硬件开销之间仍存在权衡。因此，研究人员亟需一种兼具高精度、低延迟和低资源消耗的GELU硬件实现方案。
**研究内容与结论**
本文提出基于切比雪夫（Chebyshev）多项式近似tanh函数，并嵌入GELU函数中，通过数值稳定的Clenshaw递推进行多项式求值。研究在Xilinx Artix-7 FPGA上完成了硬件验证，结果显示：与MATLAB高精度参考GELU相比，平均绝对误差（MAE）为10
-4，最大误差低于10
-3，误差比PWL方法低25–45倍，比多项式-LUT混合方法低约一个数量级。在硬件效率方面，所提出的FSM架构仅使用101个查找表（LUT）和3个DSP块，相比传统设计减少96.9%的LUT和94.4%的DSP，动态功耗降低30%。研究成果为FPGA和ASIC加速器提供了一种高精度、可扩展的激活函数基元，论文发表在《Electronics》。
**关键技术方法**
研究人员主要采用以下关键技术：
1. **切比雪夫多项式近似**：在输入域[?4, 4]上对tanh(x)进行全局33阶多项式展开，或采用分段策略（区间[?4, ?1]、[?1, 1]、[1, 4]分别使用5阶、14阶、5阶多项式），确保极小极大误差分布。
2. **Clenshaw递推**：将多项式求值转化为乘累加链，避免显式计算切比雪夫多项式，适合定点FPGA数据路径。
3. **定点算术**：采用Q4.28固定点格式，平衡精度与硬件成本，并通过字长扫描确定精度与量化误差的关系。
4. **FPGA实现架构**：设计两种定制Verilog模块——全局FSM架构（33时钟周期/样本）和分段区间架构（15时钟周期/样本，最大依赖链长度14），分别侧重低面积和低延迟。验证平台为Xilinx Artix-7 FPGA，没有使用特定样本队列。
**研究结果**
**2. GELU Using a Chebyshev-Based Tanh Approximation**：
研究人员建立了GELU的数学模型，将tanh(x)近似为切比雪夫多项式，并通过Clenshaw递推求值。全局模型使用单一33阶多项式，分段模型将输入域分为三段，分别分配5、14、5阶多项式，分段点位于±1，利用tanh的奇对称性。分段设计使延迟从33周期降至15周期，同时保持精度。
**2.1 FPGA Realization of “Traditional GELU” Activation**：
研究人员使用Xilinx Vivado IP Integrator构建了传统GELU的硬件基准，包括乘法器、加法器和Xilinx提供的tanh IP核。设计采用100 MHz时钟，使用DSP48切片和LUT/FF资源，通过ILA进行实时验证。
**2.2 Chebyshev-Based tanh(x) Realization**：
两种自定义Verilog架构：FSM架构采用单乘累加链，以33周期计算全局33阶多项式；区间架构通过预存系数集（最多15个系数）选择活跃段，延迟降至15周期。两种设计均封装为可复用IP核，替换传统GELU数据路径中的tanh阶段。
**2.3 Numerical Stability of the Fixed-Point Recurrence**：
研究人员分析了Q4.28定点Clenshaw递推的数值稳定性。理论分析表明，递推系数保证加性误差传播，全局模型在边界处最敏感；分段模型将最长依赖链从33步减至14步，限制边界敏感性。硬件测量证实两种模型的硬件误差均处于同一10
-3量级，证明定点递推未引入超出多项式截断预算的额外误差。
**3.1 Accuracy Analysis**：
通过ILA捕获实时输入输出，与MATLAB参考对比。覆盖比较显示曲线几乎重叠。量化指标：全局和分段模型的MAE约为10
-4，RMSE约为10
-4，最大误差低于10
-3，相比LUT基准（256–2048条目）误差降低近两个数量级。字长扫描显示，在Q4.16至Q4.28范围内误差主要由多项式截断限制，低于Q4.16才受量化主导。
**3.2 Resource and Power Analysis**：
资源分析显示：FSM架构使用101 LUT、3 DSP（较传统设计减少96.9% LUT、94.4% DSP）；分段架构使用173 LUT、5 DSP。动态功耗从0.519 W降至0.363 W（降低30%）。吞吐量方面，FSM架构为3.03 Msamples/s（33周期），分段架构为6.67 Msamples/s（15周期），提升约2.2倍。
**4. Benchmark Comparison**：
研究人员将所提出方法与此前PWL方法[9]、多项式-LUT混合方法[12]及量化感知模块[13]进行对比。在相同输入域[?4,4]上，RMSE比PWL方法低25–45倍，比混合方法低约一个数量级。资源方面，FSM架构LUT数量仅为[12]的三分之一，DSP多1–2个，但误差显著降低。整体上，所提出方法在精度、延迟和效率上均优于现有方案。
**总结与结论**
研究人员讨论了所提出方法的优势：精度比PWL和LUT方法高约一个数量级，消除系数LUT存储和迭代延迟，资源功耗大幅降低，采用极小极大误差分布。局限性包括：仅验证输入域[?4,4]，全局模型依赖链较长，分段度数由经验搜索确定，跨设计比较基于非统一条件，且尚未在完整Transformer模型中测试。
研究结论翻译如下：
本文提出了一种硬件高效的GELU激活函数实现，采用基于切比雪夫多项式近似的tanh，并通过Clenshaw递推求值。与PWL和LUT设计不同，该方法消除了断点依赖和系数存储开销，同时确保域内近均匀误差分布。在Xilinx Artix-7 FPGA上的实验验证显示，与MATLAB内置GELU相比，平均绝对误差约为10
-4，最大误差低于10
-3，精度较PWL方法提升高达25–45倍，较多项式-LUT混合方法提升约一个数量级。除精度外，所提出的设计实现了显著的硬件效率：逻辑利用率降低96.9%，DSP使用减少94.4%，总动态功耗比先前最先进实现降低30%。这些结果表明，所提出的切比雪夫-Clenshaw GELU实现了保真度与效率的卓越平衡，结合了接近CORDIC的精度与轻量级多项式求值。总体而言，所提出的方法为FPGA和ASIC加速器建立了一种可扩展的激活函数基元，能够在不受损硬件成本或功耗的前提下提供高精度。
