利用基于顺序任务的编程模型在超级计算机上实现高性能

《IEEE Transactions on Parallel and Distributed Systems》：Achieving High Performance on Supercomputers with a Sequential Task-based Programming Model

本文通过扩展StarPU运行时系统，提出了一种基于顺序任务编程的高效跨节点通信管理机制，使多节点超级计算机能够以极小的代码修改实现高性能计算。以切比雪夫矩阵分解算法为例，验证了该方法在保持高生产力的同时达到与MPI纯实现及另一种任务编程范式相同性能水平。

　　

摘要：

随着加速器成为超级计算机上的标准计算资源，以及随之而来的架构复杂性增加，对高级并行编程范式的需求重新浮现。基于顺序任务的编程模型已被证明能够在单个多核节点上高效应对这一挑战（该节点可能还配备了加速器），这促使OpenMP 4.0标准对其进行了支持。在本文中，我们展示了这种编程范式也可以用于在由多个此类节点组成的现代超级计算机上实现高性能，而且用户代码所需的修改非常有限。为了证明这一点，我们扩展了StarPU运行时系统，增加了一个先进的节点间数据管理层，该层能够自动处理通信任务。我们通过在这个新的运行时系统层上实现的基于任务的Cholesky算法来说明这一点。结果表明，该算法能够实现非常高的生产力，并且其性能与基于纯消息传递接口（MPI）的ScaLAPACK Cholesky参考实现以及采用另一种（非顺序）基于任务的编程范式的DPLASMA Cholesky代码相当。