针对高效Transformer推理的Softmax和RMSNorm的硬件导向近似方法
《Micromachines》:Hardware-Oriented Approximations of Softmax and RMSNorm for Efficient Transformer Inference
【字体:
大
中
小
】
时间:2026年01月08日
来源:Micromachines 3
编辑推荐:
摘要
随着基于Transformer的大型语言模型(LLMs)的迅速发展,这些模型在工业领域得到了广泛应用,例如代码生成和软件工程中的非功能性需求(NFR)分类。然而,最近的研究主要集中在优化线性矩阵运算上,而非线性运算
摘要
随着基于Transformer的大型语言模型(LLMs)的迅速发展,这些模型在工业领域得到了广泛应用,例如代码生成和软件工程中的非功能性需求(NFR)分类。然而,最近的研究主要集中在优化线性矩阵运算上,而非线性运算符仍然相对较少被探索。本文提出了针对Softmax和RMSNorm运算符的硬件高效近似和加速方法,以降低资源成本并加快Transformer推理速度,同时保持模型精度。对于Softmax运算符,通过SafeSoftmax技术实现了额外的范围简化,从而可以采用二分查找表(LUT)进行近似和加速。通过帕累托前沿分析优化了位宽配置,以平衡精度和硬件成本,并进一步应用了误差补偿机制来保持数值精度。除法运算被重新设计为对数减法,并通过小型分级查找表实现,消除了昂贵的除法运算。对于RMSNorm,进一步利用分级查找表将平方根的反数分解为尾数和指数部分,实现并行表查找和单次乘法运算。基于这些优化,实现了一个基于FPGA的流水线加速器,它在保持模型精度的同时,显著降低了运算符级别的延迟和功耗,并减少了硬件资源的使用。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号