HAVIT：一种高效的硬件加速器，专为视觉Transformer设计，采用信息丰富的补丁选择技术

《ACM Transactions on Architecture and Code Optimization》：HAVIT: An Efficient Hardware-Accelerator for Vision Transformer with Informative Patch Selection Techniques

Vision Transformers (ViTs)的实时推理问题通过HAVIT加速器解决，该设计结合轻量级边缘检测（Sobel/Canny）和三种智能 patch 选择算法（DSP/RCI/BEP），在降低约27%-57%计算量的同时提升系统性能。

　　

摘要

视觉变换器（ViTs）在计算机视觉领域得到了广泛应用。然而，它们面临着计算成本高昂的挑战，尤其是在资源有限的设备上进行实时推理时。为了解决这一挑战，我们设计了HAVIT，这是一种高效的ViT加速器，它将轻量级的信息性补丁选择技术与核心ViT加速模块相结合。这些信息性补丁选择技术的计算量非常小，平均仅占总体计算量的约0.03%，因为它们依赖于Sobel和Canny等边缘检测方法，而不同于计算量庞大的AI模型。在边缘检测之后，我们使用了三种算法：基于密度的补丁选择器（DSP）、行列交点补丁选择器（RCI）和有界包络补丁选择器（BEP），每种算法都提供了不同的选择信息性补丁的方法，并在准确性和性能之间取得了不同的平衡。在获得信息性补丁后，HAVIT的ViT加速部分通过识别独立数据来进一步提高性能，同时保持能效。实验结果表明，与基线方案（不使用补丁选择）相比，我们的方法可以将计算工作负载显著降低27%至57%。此外，HAVIT在整体系统性能方面也优于现有的最先进加速器。