TransAxx：利用近似计算实现的高效Transformer模型

《IEEE Transactions on Circuits and Systems for Artificial Intelligence》：TransAxx: Efficient Transformers with Approximate Computing

针对ViT模型高计算需求问题，TransAxx框架通过近似算术支持，分析模型敏感性并优化，结合MCTS算法生成硬件加速器，实验表明显著提升能效。

　　

摘要：

最近引入的Vision Transformer（ViT）模型基于Transformer架构，表现出很强的竞争力，常常成为卷积神经网络（CNN）的流行替代方案。然而，这些模型的高计算需求限制了其在低功耗设备上的实际应用。当前的最先进技术采用了近似乘法器来应对DNN加速器大幅增加的计算需求，但此前尚未有研究探索其在ViT模型中的应用。在这项工作中，我们提出了TransAxx框架，该框架基于流行的PyTorch库，能够快速支持近似运算，从而无缝评估近似计算对ViT模型等DNN的影响。利用TransAxx，我们分析了ViT模型在ImageNet数据集上对近似乘法的敏感性，并进行了近似感知的微调以恢复精度。此外，我们还提出了一种生成ViT模型近似加速器的方法。我们的方法使用蒙特卡洛树搜索（MCTS）算法，通过硬件驱动的定制策略高效搜索可能的配置空间。我们的评估证明了该方法在实现精度和功耗之间的显著权衡方面的有效性，从而在不牺牲性能的情况下获得了显著的提升。