NEXUS：加速下一代 AI 工作负载，NPU 上的 GNN 与 SSM 优化

《ACM Transactions on Embedded Computing Systems》：NEXUS: Speeding Up the Next Wave of AI Workloads, GNN and SSM Optimization on NPUs

　　

摘要AI 摘要

查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

设备端 AI 的兴起已将现代客户端电脑转变为强大的本地 AI 工作负载执行平台，支持低延迟、高能效和隐私保护的应用。传统的设备端 AI 应用主要集中于计算机视觉任务，如图像分类、分割和目标检测，得益于卷积神经网络（CNN）的支持，并已在边缘设备上得到广泛探索。然而，生成式 AI 和大语言模型（LLM）的近期爆发扩展了应用场景，涵盖个人助理、上下文搜索、知识图谱推理和实时转录等。为支持这些新兴工作负载，社区主要采用了基于 Transformer 的架构，因其跨模态的通用性和强大的建模能力。尽管取得了成功，Transformer 在序列长度上具有二次复杂度，导致其在长上下文任务中效率低下。因此，状态空间模型（SSM）作为高效替代方案而受到关注，其具有线性或近线性的扩展能力，并在转录、翻译和长序列语言建模等应用中展现出有竞争力的精度。与此同时，图神经网络（GNN）已成为处理结构化及关系数据的尖端模型，包括知识图谱推理、个性化推荐和事件驱动型视觉分析，在某些领域中相比 Transformer 实现了更优的性能。虽然 CNN 和 Transformer 工作负载已在边缘平台上获得充分支持，但新型模型类别的启用和优化仍处于探索不足的状态。为此，我们提出了 NEXUS，一个统一的框架，建立了在商用现成（COTS）神经处理单元（NPU）上加速新兴 AI 工作负载的系统方法论。NEXUS 引入了一种通用的系统三步法：(1) 启用，将模型执行适配于 NPU 的静态输入形状、分区计算和内存限制；(2) 优化，将控制密集型和顺序操作重映射为硬件高效的数据并行规则内核，如矩阵乘法；(3) 质量-效率权衡，应用量化和近似方法以提升性能和能效，同时将精度损失降至最低。尽管本工作重点以图神经网络（GNN）和状态空间模型（SSM）作为代表性案例研究，但 NEXUS 方法论与模型无关，可轻松扩展至未来的新兴工作负载和 NPU 平台。在 Intel? Core? Ultra 第 1 代和第 2 代 AI PC 上的实验评估表明，NEXUS 相比 CPU 基线，GNN 实现了高达 10.8 倍的加速和 8.6 倍的能效提升，SSM 实现了高达 3.8 倍的延迟降低。各项技术如 CumBA、ReduBA、ActiBA 和 QuBA 分别贡献了 2.7 倍、1.2 倍、3.7 倍和 1.7 倍的降低，同时保持模型精度在完全精度基线的 1.5% 以内。我们的代码实现可在 https://github.com/arghadippurdue/NEXUS 获取。

AI 摘要

AI 生成的摘要（实验性）

此摘要使用自动化工具生成，未经本文作者撰写或审阅。它旨在支持发现，帮助读者评估相关性，并帮助相邻研究领域的读者理解该工作。它意在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍然是权威版本。 点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和实用性发表评论。这将有助于改进和未来的重新生成版本。

查看此 AI 生成的简明摘要，您必须拥有高级访问权限。