在GPU上优化通用稀疏矩阵乘法运算

《ACM Transactions on Architecture and Code Optimization》：Optimizing General Sparse Matrix-Matrix Multiplication on the GPU

针对GPU平台上的General Sparse Matrix-Matrix Multiplication（SpGEMM）计算优化，提出基于机器学习预测结果矩阵大小的轻量级模型，分组内核调用以提升共享内存利用率和负载均衡，通过 heuristic方法优化哈希参数减少碰撞，并采用线程减少策略增强块内并行性，最终实现自适应SpGEMM算法，性能显著优于现有方法。

　　

摘要

通用稀疏矩阵乘法（SpGEMM）是科学和工程计算领域中一个至关重要的计算核心。由于稀疏矩阵中非零元素分布不规则，SpGEMM 计算面临诸如非连续内存访问和工作负载不平衡等挑战。本文重点研究针对 GPU 平台的 SpGEMM 优化方法。首先，训练一个轻量级的机器学习模型来预测结果矩阵的最佳大小估计方法。接着，分组启动不同的计算内核以最大化 GPU 共享内存的利用率并实现负载均衡。对于基于哈希的稀疏累加器，采用启发式方法选择最佳的哈希负载因子和哈希乘数因子，从而减少哈希冲突的数量。此外，在符号计算阶段应用线程缩减技术以提高块内并行性。通过结合这些优化策略，我们实现了一个适用于 GPU 的自适应 SpGEMM 算法，并将其性能与当前最先进的算法进行了比较。实验结果表明，我们的算法在性能上取得了显著提升。