SDGraph:一种可扩展的图神经网络(GNN)训练系统,支持GPU采样和并行特征访问
《Future Generation Computer Systems》:SDGraph: A scalable training system for GNNs with GPU sampling and parallel feature access
【字体:
大
中
小
】
时间:2026年04月30日
来源:Future Generation Computer Systems 6.2
编辑推荐:
闫志宇|杨世奇|傅游|胡克坤|王彦辉|梁建国
山东科技大学计算机科学与工程学院,青岛266590,中国
**摘要**
图神经网络(GNNs)将深度学习扩展到了图结构数据上,在节点和边预测方面表现出了卓越的性能。然而,当图的规模达到数十亿个节点时,传统的全图训练受到内
闫志宇|杨世奇|傅游|胡克坤|王彦辉|梁建国
山东科技大学计算机科学与工程学院,青岛266590,中国
**摘要**
图神经网络(GNNs)将深度学习扩展到了图结构数据上,在节点和边预测方面表现出了卓越的性能。然而,当图的规模达到数十亿个节点时,传统的全图训练受到内存容量的限制。虽然基于采样的训练方法解决了这一限制,但它引入了显著的数据供应挑战。现有系统在采样过程中仍然存在硬件并行性利用不足的问题,并且在特征加载阶段的效率低下。本文提出了SDGraph,这是一个专为基于采样的GNN训练设计的高效系统。在采样阶段,SDGraph实现了warp级别的采样,以支持高效的邻居访问和原子操作聚合。结合异步随机数池,SDGraph充分利用了GPU的并发性,提高了采样吞吐量。在数据加载阶段,该系统采用了热/冷感知缓存和跨迭代预取技术来隐藏传输延迟。此外,我们设计了一种WarpGather操作符,将索引解析、特征访问和数据组装集成到一个内核中。这种设计消除了模块间的调度开销,显著提高了数据供应效率。实验结果表明,SDGraph在各种主流模型和大规模数据集上都具有出色的可扩展性。与流行的DGL框架相比,SDGraph的平均端到端训练速度提升了1.89倍。
**引言**
GNNs通过消息传递机制将深度学习扩展到图数据中[1]。它们解决了传统深度学习在处理非欧几里得数据时的局限性。具体来说,GNNs利用图的结构和属性来学习低维嵌入,这些嵌入可以用于下游的机器学习任务[2]、[3]、[4]。它们有效地捕捉了节点关系和全局图结构,使得节点分类和边预测等任务成为可能[5]、[6]。
近年来,GNNs在现实世界应用中取得了显著成果,包括分子性质预测和推荐系统[2]、[4]、[5]、[7]。为了简化GNN的开发与训练,已经引入了几种深度学习框架。例如DGL[8]和PyG[9],这些框架极大地推动了GNN在研究和实际应用方面的发展。
然而,现实世界的图通常非常庞大,主流GPU的内存容量远远不足以支持全图训练。为了解决这个问题,研究人员提出了基于采样的训练方法[10]。在这些方法中,图拓扑和节点特征存储在CPU内存中,然后使用图采样技术提取子图及其特征,并将它们加载到GPU内存中进行训练。这种方法涉及两个关键步骤:首先,为每个节点随机选择固定数量的多跳邻居来构建一个多跳子图;其次,提取子图中节点的特征并将其传输到GPU进行训练。由于子图采样和特征传输发生在CPU和GPU之间,因此整个端到端训练效率受到这两个步骤的严重限制。
为了解决GNN训练过程中频繁的CPU–GPU跨设备特征传输瓶颈,研究人员提出了基于缓存优化的加速方法[11]、[12]、[13]、[14]。由于训练所需的节点特征必须从CPU内存传输到GPU,因此缓存频繁访问的节点特征可以显著减少特征传输量并提高特征提取效率。为了应对采样瓶颈,引入了聚类算法将大型图划分为多个紧密连接的簇[15],将节点搜索限制在簇内以提高局部性,并通过统一的编程模型系统地优化采样算法[16]。尽管提出了各种优化方法[11]、[12]、[13]、[15]、[16]、[17]、[18],但它们仍然存在显著的限制。首先,基于GPU的采样无法完全消除同步开销。此外,现有方法未能充分利用GPU的硬件并行性。其次,在数据加载阶段,CPU–GPU特征加载仍然效率低下。具体来说,动态缓存策略会产生额外的缓存替换开销;而静态缓存策略在不同系统模块之间的协调性较差。
**为了应对这些挑战,我们提出了SDGraph,这是一个高效的基于采样的GNN训练系统。该系统系统地缓解了采样和特征加载阶段的性能瓶颈。在采样阶段,SDGraph采用了warp级别的并行邻居采样策略,通过将采样任务细化为warp(32线程执行单元)来实现高效的邻居访问。SDGraph还将随机数生成与关键路径分离,通过异步构建随机数池来实现。此外,我们引入了warp级别的聚合原子操作进行ID映射,这种方法降低了原子更新频率,并在高并发下提高了并行效率。在数据加载阶段,SDGraph通过热/冷感知缓存和跨迭代预取的协同作用隐藏了传输延迟。具体来说,高频特征存储在GPU内存中,而低频特征驻留在固定内存中,以重叠通信和计算。最后,我们设计了WarpGather操作符,将索引解析、特征访问和数据组装集成到一个GPU内核中。**
我们在不同的数据集和硬件平台上评估了该系统。实验结果表明,该系统提高了采样效率,同时显著降低了数据加载开销。总体而言,SDGraph的平均端到端训练速度提升了1.89倍。本工作的主要贡献如下:
(1) 我们深入分析了基于采样的GNN训练系统中的性能瓶颈。
(2) 我们设计了一种基于warp级别协作的细粒度采样和原子映射机制,将采样粒度细化到warp级别,并结合异步随机数池,充分利用了GPU的并行性。具体来说,我们使用shuffle指令在每个warp内执行局部计数和偏移计算,从而将原子操作频率从线程级别降低到warp级别。
(3) 我们提出了一种热/冷感知的特征缓存和跨迭代预取策略,并实现了一个专用的特征加载操作符,将索引解析、特征访问和数据组装集成到一个内核中,减少了内核调度和模块间同步的开销。
(4) 我们使用SDGraph对各种GNN模型和大规模数据集进行了广泛实验,平均而言,SDGraph在DGL、PyG和FastGL上的训练效率分别提高了2.89倍、5.81倍和1.19倍。
**图神经网络**
GNNs[10]、[19]、[20]、[21]旨在对图数据(由节点和边组成)进行建模。节点代表特定领域中的实体,每个节点关联一个特征向量。边表示节点之间的关系,边权重量化了这些关系的强度。例如,在引用网络中,节点对应于单个论文,边表示它们之间的引用链接。GNN通常包含多个计算层,每层包含一个...
**动机**
在本节中,我们展示了实验结果,以说明现有GNN训练系统的局限性以及优化的潜力。常见的GNN模型包括GCN[19]、GraphSAGE[10]和GAT[20],它们已在各种数据集[10]、[27]上进行了训练。图2显示了采样、数据加载和训练阶段的时间分布。采样和数据加载是限制训练性能的主要因素。为了系统地解决这些效率问题,我们进一步分析了...
**方法**
基于第3节中的实验结果和分析,我们设计了一个名为SDGraph的GNN训练系统来解决上述问题。提出了两种方法:(1) 基于warp的邻居采样优化;我们设计了聚合原子操作以减少原子操作开销。(2) 热/冷特征感知的自动并行数据加载机制;我们设计了一个warp级别的WarpGather操作符以实现混合数据加载。该机制结合了异步预取...
**评估**
本节使用三个代表性的GNN模型和四个真实世界数据集对SDGraph进行了全面评估,以衡量其在减少采样和数据加载开销方面的有效性。
**相关工作**
近年来,许多研究人员基于现有的深度学习框架开发了专门的框架,以提高GNN训练的效率。DGL[8]和PyG[9]就是基于流行深度学习库构建的此类框架。PyG使用PyTorch作为后端,而DGL支持包括PyTorch、TensorFlow和MXNet在内的多种后端。这两种框架都利用消息传递来执行图操作。
**结论**
本文介绍了SDGraph,这是一个旨在加速基于采样的GNN训练的框架。SDGraph主要由两部分组成:一个基于GPU的采样算法和一个自动化的并行特征收集算法。在采样阶段,我们设计了一种基于warp级别协作的细粒度采样和原子映射机制,通过将采样粒度细化到warp级别,系统充分利用了GPU的并行性。它利用shuffle指令在每个warp内执行局部计数和偏移计算...
**作者贡献声明**
闫志宇:撰写——审阅与编辑、验证、方法论。
杨世奇:撰写——审阅与编辑、撰写——原始草稿、软件、方法论。
傅游:撰写——审阅与编辑、验证、监督。
胡克坤:监督、资源管理、项目管理、资金获取。
王彦辉:撰写——审阅与编辑、验证、形式分析。
梁建国:撰写——审阅与编辑、验证、监督、方法论。
**利益冲突声明**
我们声明与可能不恰当地影响我们工作的其他个人或组织没有财务和个人关系,也没有任何形式的专业或其他个人利益涉及可能影响本文立场或手稿评审的任何产品、服务和/或公司。
**致谢**
本工作部分得到了山东省先进计算重点实验室开放项目的支持(项目编号2025LCJSJ0004),以及山东省自然科学基金的支持(项目编号ZR2023LZH009和ZR2025MS1098)。
闫志宇分别于2005年和2008年在山东科技大学获得计算机科学与技术专业的学士学位和硕士学位,2012年在上海同济大学获得计算机系统架构专业的博士学位。他目前是山东科技大学计算机科学与工程学院的副教授,研究兴趣包括计算机视觉等领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号