NeutronSparse:协调不同类型的引擎以在神经处理单元(NPU)上实现稀疏矩阵乘法

《Proceedings of the ACM on Management of Data》:NeutronSparse: Coordinating Heterogeneous Engines for Sparse Matrix Multiplication on NPUs

【字体: 大 中 小 】 时间:2026年10月24日 来源:Proceedings of the ACM on Management of Data

编辑推荐:

   摘要 AI摘要 要查看此由AI生成的摘要,您必须具有高级访问权限。 了解更多 登录 摘要 摘要 稀疏矩阵-矩阵乘法(SpMM)是大规模稀疏数据处理的基本数据操作。由于NPU在数据中心的性能和能效方面的优势,加速这些平台上的SpMM是一个

  

摘要

摘要

稀疏矩阵-矩阵乘法(SpMM)是大规模稀疏数据处理的基本数据操作。由于NPU在数据中心的性能和能效方面的优势,加速这些平台上的SpMM是一个自然的选择。然而,在NPU上进行的高性能SpMM带来了数据管理挑战,因为不规则的稀疏性要求高效的数据组织和调度。在Ascend 910B上,官方的MindSpore实现的性能仅达到了基于GPU的稀疏库(如NVIDIA A100上的cuSPARSE)的36.3%。
为此,我们对NPU和GPU上的SpMM执行进行了深入的架构分析,发现NPU上SpMM的关键性能瓶颈在于基于tile的执行模型下不同计算单元之间缺乏有效的协调。因此,我们提出了NeutronSparse,一个以协调为主的NPU SpMM框架。NeutronSparse整合了两种关键技术:(i)对异构引擎的稀疏性感知协调,它可以自适应地划分和平衡工作负载,使它们保持忙碌;(ii)对局部性的感知tile编排,它可以重新组织和重用数据tile,以减少冗余计算和数据移动的开销。在Ascend 910B上的评估显示,NeutronSparse相比NPU基线实现了1.26倍到7.78倍的加速效果,相比NVIDIA A100上的领先GPU库实现了1.03倍到3.07倍的加速效果,这揭示了NPU在稀疏计算方面的未开发潜力。

AI摘要

AI生成摘要(实验性)

此摘要是使用自动化工具生成的,未经过文章作者的撰写或审阅。它旨在帮助发现、帮助读者评估相关性,并协助来自相关研究领域的读者理解这项工作。它旨在补充作者提供的摘要,后者仍然是文章的官方摘要。完整文章是权威版本。点击这里了解更多。

点击这里对摘要的准确性、清晰度和有用性进行评论。这样做将有助于改进未来的版本。

要查看此由AI生成的简单语言摘要,您必须具有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号