利用分治方法实现的高效以GPU为中心的奇异值分解

《ACM Transactions on Architecture and Code Optimization》：Efficient GPU-Centered Singular Value Decomposition Using the Divide-and-Conquer Method

本文提出基于GPU优化的奇异值分解算法，采用新型双向对角线分治方法重构计算流程，消除数据传输延迟并提升计算密集度，在AMD MI210和NVIDIA V100上较现有库速度提升达1293.64倍和14.10倍。

　　

摘要

奇异值分解（SVD）是线性代数中一种基本的矩阵分解技术，广泛应用于许多与矩阵相关的问题中。然而，尽管GPU的计算能力有所提升，传统的SVD方法仍受到面板分解速度慢以及异构系统中频繁的CPU-GPU数据传输的限制。在本文中，我们提出了一种以GPU为中心的SVD算法，该算法采用了新型的基于GPU的双对角线分治（BDC）方法。我们对SVD计算的不同步骤进行了重新设计，并将所有面板级别的计算和后续矩阵更新完全在GPU上完成，从而消除了CPU与GPU之间的数据传输。此外，我们还整合了相关计算以优化BLAS（Basic Linear Algebra Subroutines）的使用，从而提高了算术运算的强度，并充分利用了GPU的计算能力。我们还开发了一种新的基于GPU的BDC算法，该算法重新设计了工作流程，消除了矩阵级别的CPU-GPU数据传输，并实现了CPU与GPU之间的异步执行。在AMD MI210和NVIDIA V100 GPU上的实验结果表明，与rocSOLVER/cuSOLVER和MAGMA相比，我们提出的方法分别实现了高达1293.64倍/7.47倍和14.10倍/12.38倍的加速效果。