针对高效Transformer推理的Softmax和RMSNorm的硬件导向近似方法

《Micromachines》:Hardware-Oriented Approximations of Softmax and RMSNorm for Efficient Transformer Inference

【字体: 大 中 小 】 时间:2026年01月08日 来源:Micromachines 3

编辑推荐:

   摘要 随着基于Transformer的大型语言模型(LLMs)的迅速发展,这些模型在工业领域得到了广泛应用,例如代码生成和软件工程中的非功能性需求(NFR)分类。然而,最近的研究主要集中在优化线性矩阵运算上,而非线性运算

  

摘要

随着基于Transformer的大型语言模型(LLMs)的迅速发展,这些模型在工业领域得到了广泛应用,例如代码生成和软件工程中的非功能性需求(NFR)分类。然而,最近的研究主要集中在优化线性矩阵运算上,而非线性运算符仍然相对较少被探索。本文提出了针对Softmax和RMSNorm运算符的硬件高效近似和加速方法,以降低资源成本并加快Transformer推理速度,同时保持模型精度。对于Softmax运算符,通过SafeSoftmax技术实现了额外的范围简化,从而可以采用二分查找表(LUT)进行近似和加速。通过帕累托前沿分析优化了位宽配置,以平衡精度和硬件成本,并进一步应用了误差补偿机制来保持数值精度。除法运算被重新设计为对数减法,并通过小型分级查找表实现,消除了昂贵的除法运算。对于RMSNorm,进一步利用分级查找表将平方根的反数分解为尾数和指数部分,实现并行表查找和单次乘法运算。基于这些优化,实现了一个基于FPGA的流水线加速器,它在保持模型精度的同时,显著降低了运算符级别的延迟和功耗,并减少了硬件资源的使用。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号