NeutronSparse:协调不同类型的引擎以在神经处理单元(NPU)上实现稀疏矩阵乘法
《Proceedings of the ACM on Management of Data》:NeutronSparse: Coordinating Heterogeneous Engines for Sparse Matrix Multiplication on NPUs
【字体:
大
中
小
】
时间:2026年10月24日
来源:Proceedings of the ACM on Management of Data
编辑推荐:
摘要
AI摘要
要查看此由AI生成的摘要,您必须具有高级访问权限。
了解更多
登录
摘要
摘要
稀疏矩阵-矩阵乘法(SpMM)是大规模稀疏数据处理的基本数据操作。由于NPU在数据中心的性能和能效方面的优势,加速这些平台上的SpMM是一个
要查看此由AI生成的摘要,您必须具有高级访问权限。
摘要
摘要
稀疏矩阵-矩阵乘法(SpMM)是大规模稀疏数据处理的基本数据操作。由于NPU在数据中心的性能和能效方面的优势,加速这些平台上的SpMM是一个自然的选择。然而,在NPU上进行的高性能SpMM带来了数据管理挑战,因为不规则的稀疏性要求高效的数据组织和调度。在Ascend 910B上,官方的MindSpore实现的性能仅达到了基于GPU的稀疏库(如NVIDIA A100上的cuSPARSE)的36.3%。
为此,我们对NPU和GPU上的SpMM执行进行了深入的架构分析,发现NPU上SpMM的关键性能瓶颈在于基于tile的执行模型下不同计算单元之间缺乏有效的协调。因此,我们提出了NeutronSparse,一个以协调为主的NPU SpMM框架。NeutronSparse整合了两种关键技术:(i)对异构引擎的稀疏性感知协调,它可以自适应地划分和平衡工作负载,使它们保持忙碌;(ii)对局部性的感知tile编排,它可以重新组织和重用数据tile,以减少冗余计算和数据移动的开销。在Ascend 910B上的评估显示,NeutronSparse相比NPU基线实现了1.26倍到7.78倍的加速效果,相比NVIDIA A100上的领先GPU库实现了1.03倍到3.07倍的加速效果,这揭示了NPU在稀疏计算方面的未开发潜力。
AI摘要
AI生成摘要(实验性)
此摘要是使用自动化工具生成的,未经过文章作者的撰写或审阅。它旨在帮助发现、帮助读者评估相关性,并协助来自相关研究领域的读者理解这项工作。它旨在补充作者提供的摘要,后者仍然是文章的官方摘要。完整文章是权威版本。点击这里了解更多。
点击这里对摘要的准确性、清晰度和有用性进行评论。这样做将有助于改进未来的版本。
要查看此由AI生成的简单语言摘要,您必须具有高级访问权限。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号