NeutronSparse：在NPUs上进行稀疏矩阵乘法时协调不同类型的计算引擎

《Proceedings of the ACM on Management of Data》：NeutronSparse: Coordinating Heterogeneous Engines for Sparse Matrix Multiplication on NPUs

　　

摘要AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

稀疏矩阵–矩阵乘法（SpMM）是大规模稀疏数据处理的根本数据操作。随着高性能神经处理单元（NPUs）因其性能和能效而被越来越多地部署在数据中心中，在这些平台上加速 SpMM 是一个自然的选择。然而，在 NPUs 上实现高性能 SpMM 会带来数据管理挑战，因为不规则的稀疏性要求高效的数据组织和调度。在 Ascend 910B 上，官方的 MindSpore 实现仅达到了基于 GPU 的稀疏库（如 NVIDIA A100 上的 cuSPARSE）性能的 36.3%。

为此，我们对 NPUs 与 GPU 上的 SpMM 执行进行了深入的架构分析，发现 NPUs 上 SpMM 的关键性能瓶颈在于基于瓦片（tile-based）执行模型下异构计算单元之间缺乏有效的协调。因此，我们提出了 NeutronSparse，这是一个以协调为核心的 NPUs SpMM 框架。NeutronSparse 集成了两项关键技术：（i）稀疏感知协调，它能够适应性地划分和平衡异构计算单元之间的工作负载，以保持它们的繁忙状态；（ii）基于局部性的瓦片编排，它重新组织并重用数据瓦片，以减少冗余计算和数据移动的开销。在 Ascend 910B 上的评估显示，NeutronSparse 的速度提升幅度达到了 NPU 基线的 1.26 倍至 7.78 倍，相对于 NVIDIA A100 上领先的 GPU 库则达到了 1.03 倍至 3.07 倍，揭示了 NPUs 在稀疏计算中的未开发潜力。

AI 摘要

AI 生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者编写或审阅。它旨在辅助发现、帮助读者评估相关性，并帮助来自相关研究领域的读者理解文章内容。它旨在补充作者提供的摘要，后者仍是论文的主要摘要。完整文章是权威版本。点击此处了解更多。

点击 此处 对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由 AI 生成的简体语言摘要，您必须具有高级访问权限。