多加速器协同设计与通信框架加速图神经网络负载

《IEEE Transactions on Computers》：MAAC: Multi-Accelerator Architecture and Communication Co-design for Accelerating Graph Neural Networks

　　摘要：现代数据，如图数据，因其描述复杂系统的表达能力而得到广泛应用。现代应用程序，如图神经网络（GNNs），通常包含多个具有不同计算模式的阶段。由于图数据的特性，某些阶段是不规则的或数据依赖的，因此无法实现大规模并行。因此，尽管GPU在深度学习负载方面具有强大的性能，但仅依靠GPU来加速GNN类负载是具挑战性的。计算的异构性要求将不同阶段匹配到合适的异构加速器。然而，为了实现高效的端到端性能，需要加速器之间的直接数据通信来连接各个阶段。此外，由于不同类型的加速器各自拥有其运行时和驱动程序栈，高效的PCIe点对点（P2P）通信并不容易实现。为解决这一问题，我们提出了多加速器架构与通信（MAAC）框架，这是一种应用/系统级协同设计方法，将每个阶段的算法/加速器协同设计与跨驱动程序栈、互连和加速器的加速器/通信协同设计相结合，提供了一种适用于通用PCIe设备的厂商中立解决方案。具体而言，GraphSAGE使用采样来启用小批量训练，使其成为能够泛化到未见过的图并扩展到大规模图的典型GNN负载。对GraphSAGE的性能剖析显示，在CPU上运行的采样阶段是瓶颈。为了使用MAAC解决此类负载问题，图数据通过PCIe P2P从NVMe SSD流式传输到FPGA，采样在FPGA上进行加速，然后采样后的数据传输到GPU进行训练阶段。我们在不同的系统和数据集上评估了我们的方法论，以展示可移植的性能提升。在最新的AMD V80 FPGA上，与s...相比，我们实现了7.85倍和3.31倍的几何平均加速比。