一种28纳米的Spiking Vision Transformer加速器，配备双路径稀疏计算核心和无EMA（Explicit Matrix Arithmetic）的自注意力引擎，专为具身智能应用设计

《IEEE Transactions on Circuits and Systems for Artificial Intelligence》：A 28nm Spiking Vision Transformer Accelerator with Dual-Path Sparse Compute Core and EMA-free Self-Attention Engine for Embodied Intelligence

基于脉冲神经网络的视觉Transformer能效优化方案，提出双路径稀疏计算核心、专用自注意力引擎和统一加法树阵列，在28nm CMOS下实现ViT-B 1.79mJ/帧能耗，较传统方案降低4.1倍，能效57.7 TOPS/W提升34.8%。

　　

摘要：

具身智能（EAI）系统，如自主机器人和交互式代理，需要在动态环境中实时且高效地处理视觉数据。视觉变换器已成为处理EAI任务中视觉信息的核心模型。然而，它们面临一些挑战，例如较大的输入外部内存访问（EMA）和低效的自注意力计算。为了解决这些问题，我们提出了一种硬件和软件共同优化的解决方案。我们用脉冲视觉变换器替换了传统的视觉变换器，该变换器利用了脉冲神经网络（SNNs）的高输入稀疏性和脉冲变换器中的高效线性自注意力结构。我们进一步通过三个关键的硬件设计特性增强了这一解决方案：1) 双路径稀疏计算核心，支持在提出的分组式帧差分数据流中对差分输入和原始输入进行稀疏处理，将EMA降低了58%；2) 专用的脉冲自注意力引擎，不仅所需内存空间减少了83.6%，实现了无需EMA的计算，还通过一阶近似和专用转置引擎将自注意力计算时间降低了46.5%；3) 统一的1b/8b加法树阵列，将脉冲自注意力中的1b矩阵乘法运算速度提高了4倍，同时仅增加了19%的面积开销。该芯片采用28nm CMOS技术制造，并在多个EAI任务上进行了验证。在ViT-B推理任务中，其能耗为1.79mJ/帧，比使用相同模型的先前工作低4.1倍；同时，其整体能效达到了57.7 TOPS/W，比最先进的（SOTA）视觉变换器加速器高出34.8%。