DistSpMM：在GPU上加速稀疏矩阵与稠密矩阵乘法

《ACM Transactions on Architecture and Code Optimization》：DistSpMM: Accelerating Sparse Matrix Dense Matrix Multiplication on GPUs

　　

摘要AI 摘要

要查看此AI生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

稀疏矩阵-稠密矩阵乘法（SpMM）是科学计算和深度学习中的核心运算。在多GPU平台上，其可扩展性受到通信瓶颈的限制。为解决这一问题，我们提出了DistSpMM，一个整合数据布局、流水线和通信策略的协同设计框架。DistSpMM引入了HSDMA，一种轻量级算法，通过优化稠密矩阵分配来减少通信量。DistSpMM采用了一种拓扑感知的两阶段流水线，以管理IB/NVLink带宽差异，从而最大限度地实现计算与通信的重叠。最后，DistSpMM采用了一种自适应选择器，利用性能模型根据数据稀疏度和网络层级动态选择最优的通信粒度（粗粒度与细粒度）。在多种真实世界数据集上的实验表明，我们的方法具有卓越的性能。与基线相比，它在单节点多GPU环境中实现了1.6倍至2.6倍的平均加速比，在多节点多GPU环境中实现了4.0倍至5.1倍的平均加速比。与当前最先进的实现相比，我们的方法最高可实现2.0倍的加速。

AI 摘要

AI生成的摘要（实验性）

本摘要由自动化工具生成，并非由本文作者撰写或审阅。提供本摘要是为了支持文献发现、帮助读者评估相关性，并协助来自相邻研究领域的读者理解本文的工作。本摘要旨在作为作者提供的摘要的补充，后者仍然是本文的主要概述。完整文章仍是权威版本记录。点击此处了解更多。

点击此处对本摘要的准确性、清晰度和实用性进行评论。这将有助于改进未来的生成版本。

要查看此AI生成的通俗摘要，您必须拥有高级访问权限。