一种用于编程具有多种加速器API的异构系统的基于任务的数据流方法论

《Future Generation Computer Systems》:A Task-based Data-flow Methodology for Programming Heterogeneous Systems with Multiple Accelerator APIs

【字体: 大 中 小 】 时间:2026年01月25日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  Aleix Boné|Alejandro Aguirre|David álvarez|Pedro J. Martinez-Ferrer|Vicen? Beltran 西班牙加泰罗尼亚自治区巴塞罗那市08034,Eusebi Güell广场1-3号,巴塞罗那超级计算中心(BSC

  Aleix Boné|Alejandro Aguirre|David álvarez|Pedro J. Martinez-Ferrer|Vicen? Beltran
西班牙加泰罗尼亚自治区巴塞罗那市08034,Eusebi Güell广场1-3号,巴塞罗那超级计算中心(BSC)

摘要
在高性能计算和人工智能基础设施中,结合多核CPU与多种加速器的异构节点正逐渐成为主流。然而,要充分利用这些平台,就需要协调多种低级加速器API,如CUDA、SYCL和Triton。有时,这些API还会与经过优化的厂商数学库结合使用,例如cuBLAS和oneAPI。每种API或库都有其自身的抽象层、执行语义和同步机制,因此将它们集成到单个应用程序中既容易出错又十分耗时。为此,我们提出采用基于任务的数据流方法论以及任务感知型API(TA-libs),以克服这些限制,实现多种加速器编程模型的无缝集成,同时还能充分利用各API所提供的最佳内核。应用程序被表示为由主机任务和设备内核构成的有向无环图,由OpenMP/OmpSs-2运行时管理。我们引入了任务感知型SYCL(TASYCL),并利用任务感知型CUDA(TACUDA),将各个加速器调用提升为一等任务。当多个原生运行时在同一多核CPU上共存时,它们会争夺线程,从而导致资源过度分配和性能波动。为解决这一问题,我们将它们的线程管理统一到nOS-V任务与线程库之下,同时我们还为PoCL SYCL运行时提供了新的移植版本。该方法论已在多核服务器和GPU加速节点上通过两种不同的工作负载进行了测试:代表现代人工智能流程的GPT-2预训练阶段,以及代表传统高性能计算的HPCCG共轭梯度基准测试。从性能角度来看,单内核结构和分治式执行方式在执行时间和内存占用方面,都与在GPU加速系统和多核系统上采用的粗粒度任务驱动方式相当。而在多核系统中,通过nOS-V统一管理所有运行时,可以消除相互干扰,其性能可与单独使用某一种运行时相媲美。这些结果表明,任务感知型库与nOS-V库相结合,能够让单个应用程序以透明且高效的方式利用多种加速器编程模型。所提出的方法论可直接应用于当前的异构节点,同时也易于扩展到未来集成更多类型CPU、GPU、FPGA和人工智能加速器的系统。

引言
传统上,早期的高性能计算系统依靠不断提升时钟频率的单核处理器来提高性能;但随着频率提升受到功耗和散热限制,多核架构便成为新的性能提升方案。进一步的进展使得异构系统应运而生,这类系统配备了专门的加速器,尤其是GPU,虽然在编程复杂度和灵活性方面有所降低,但在特定计算任务上的效率却大幅提升。近年来,高性能计算和人工智能工作负载的快速发展[1][2],对硬件和软件环境带来了巨大影响,也对并行编程模型提出了更高要求。OpenMP[3]应用程序编程接口最初是为了利用多核架构而设计的,它通过采用分治式执行模型对顺序循环进行标记。随着时间的发展,OpenMP还加入了任务并行和数据流执行功能[4][5],以便更好地处理多核平台上的非规则和不平衡计算任务。2007年,CUDA[6]的问世是一个重要里程碑,它让GPU的并行性得以用于图形之外的通用计算领域。尽管CUDA取得了巨大成功并被广泛采用,但它主要还是用于协调从主机多核CPU发起的大规模并行GPU内核。随着平台日益多样化,应用程序不得不从曾经因主机与设备间数据传输成本高昂而备受青睐的单内核结构,转向具有复杂交互功能的多元内核应用[7]。现代系统通常会将CPU与加速器通过高带宽、低延迟的接口连接起来,这些系统往往还共享虚拟甚至物理内存层次结构[8][9]。这种变化,再加上高性能计算和人工智能工作负载的日益融合,要求对主机任务、设备内核以及I/O操作等多种活动进行精确的协调与同步,而这又需要在同一应用程序中整合多种API。自CUDA出现后,又出现了许多编程模型,用于应对日益多样化的加速器所带来的复杂性。OpenCL[10]提供了一种与不同加速器兼容的、厂商中立的低级替代方案,后来又出现了SYCL[11],这是一种支持加速计算的高级且可移植的C++标准。与此同时,OpenACC[12]则通过为现有顺序代码添加标记,提供了一种简化版的加速计算途径,类似于最近的OpenMP卸载扩展功能。随着人工智能专用工作负载的快速普及,还出现了诸如Triton[13]这样的专用模型,它通过分块计算优化数据局部性和重用性,能够支持包括GPU和多核CPU在内的多种后端设备。尽管有了这些进步,为复杂的硬件生成高度优化的内核仍然是一项艰巨任务,通常需要借助厂商提供的经过深度调优的库,如cuBLAS、cuSPARSE、cuDNN、oneMKL等。而当前的高性能计算系统越来越多地集成多种加速器,从独立的GPU到集成的人工智能加速器,这一趋势愈发明显。随着系统从仅包含一种类型加速器(通常是GPU)的配置,逐渐发展为包含GPU、FPGA以及多核CPU上的集成张量核心的更为复杂的架构,应用程序将越来越需要协同使用多种API——每种API针对不同的加速器——才能充分发挥现代及未来系统的性能。这种集成带来了诸多挑战。首先,在编程层面将CUDA、ROCm[14]、SYCL或Triton等多种加速器专用API结合在一起本身就十分困难。每种API都有其自身的抽象层、执行模型和同步机制,这些往往互不兼容或概念上存在差异,这就增加了在不同设备之间协调数据传输、执行顺序以及相互操作的难度。其次,这些API通常依赖各自的运行时系统,而这些系统都假定能独占控制相应的硬件资源。当多个运行时在同一节点上共存时,如果它们都试图独立管理共享的多核CPU或加速器,就可能导致资源竞争和资源分配不合理,进而引发性能下降或不可预测的行为。在此背景下,我们提出了任务感知型库,这类库旨在将多种API与基于任务的编程模型无缝集成。借助OpenMP和OmpSs-2[15]所提供的强大且灵活的数据流执行模型,应用程序被表示为有向无环图,其中每个节点代表一个主机任务或加速器内核。这种抽象方式简化了跨不同加速器和运行时环境的同步与协调工作。内核的编写则可根据具体需求选择最合适的模式:i) 使用SYCL实现可移植的加速计算;ii) 使用Triton实现优化的人工智能计算;iii) 使用OpenMP目标卸载功能逐步迁移顺序内核;iv) 对于对性能要求极高的任务,则可使用cuBLAS/cuSPARSE和oneMKL等厂商提供的原生库。同时,OmpSs-2或OpenMP运行时会通过基于数据依赖关系的DAG边自动管理同步工作。本文提出了一种统一的 方法论,它能够在同一个连贯的应用程序中,将多种编程模型(包括SYCL、Triton和OpenMP卸载功能)以及cuBLAS/cuSPARSE和oneMKL等经过优化的厂商库无缝集成。在我们之前关于消息传递领域的任务感知型库的研究基础上,比如TAMPI和TAGASPI[16],以及用于CUDA的任务感知型库TACUDA[17]——该库能够实现CUDA加速器API与基于任务的编程模型的透明且高效的集成——我们现在又推出了任务感知型SYCL(TASYCL),这是一种任务感知型库,它允许将SYCL内核作为任务嵌入到数据流DAG中,从而使运行时能够自动处理依赖关系、协调执行并管理资源。虽然我们的实现主要针对SYCL的特定API,但其方法论与TACUDA类似,这表明最初在TACUDA中提出的方法论具有通用性,能够自然地扩展到其他加速器编程环境。这种灵活性使得我们的方法成为一种适用于当前及下一代高性能计算系统中日益多样的加速器的可移植且可扩展的解决方案。在同一个应用程序中整合多种编程模型时,另一个挑战是它们各自运行时系统之间的相互干扰,尤其是在CPU层面。OpenMP、OmpSs-2或PoCL之类的SYCL实现通常都假定能够完全控制核心分配、线程调度和任务管理,因此当这些运行时同时执行时,就可能导致资源竞争、过度分配以及性能不稳定。在这项工作中,我们分析了这些运行时之间的干扰问题,并提出了nOS-V任务与线程库[18]来缓解这些问题。通过统一底层执行模型,nOS-V能够实现协调调度,同时减少不同运行时之间的相互干扰。为此,我们利用了已经移植到nOS-V的NODES/OmpSs-2和libompv/OpenMP运行时,同时还为PoCL运行时提供了新的nOS-V移植版本,这样SYCL工作负载就能享受到统一的执行环境带来的好处。我们在两种硬件平台上对我们的方法进行了测试:一种多核CPU系统,另一种则是GPU加速系统。在多核平台上,我们对比了传统的分治式执行方式与基于任务的数据流执行方式,以评估精细化的依赖关系管理的优势。在GPU平台上,我们则将单内核执行方式与我们提出的集成多种加速器API的基于任务的数据流执行方式进行了比较。对于这两种平台,我们都使用了两种具有代表性的工作负载:代表人工智能导向应用的GPT-2预训练阶段[19],以及代表传统高性能计算工作负载的高性能共轭梯度(HPCCG)基准测试[20]。这些实验充分证明了在单个应用程序中整合多种编程模型和运行时的可行性和有效性,同时也凸显了在异构架构中采用基于任务的协调方法的优点。本文的其余部分结构如下:第2节介绍基于任务的编程模型、加速器API以及运行时系统的背景知识;第3节探讨异构系统中互操作性和任务感知执行方面的相关研究;第4节阐述我们所提出的方法论,并描述用于整合多种加速器API的任务感知型库的设计思路;第5节详细介绍我们使用典型高性能计算和人工智能工作负载进行的实验评估结果;最后,第6节对全文进行总结,并指出未来研究的方向。

背景部分
在本节中,我们首先总结了用于编程现代异构系统的各类厂商专用及可移植API,以及基于这些API构建的关键库。接着,我们介绍了基于任务的运行时系统,重点关注OmpSs-2和OpenMP,并探讨了任务感知型库在协调CPU与加速器之间的计算和数据传输中的作用。最后,我们介绍了两个用于测试的应用程序基准测试——GPT-2预训练和HPCCG——以及相关的并行化策略。

相关工作
高效地编程异构系统仍是一个具有挑战性的领域,这一领域激发了大量关于编程模型、运行时系统以及互操作性策略的研究。本节回顾了在任务感知API、自动数据管理机制、跨平台可移植性以及不同编程模型之间的互操作性等方面的关键进展。我们的工作则在这些研究成果的基础上,进一步致力于在任务感知型库中实现多种编程模型和API的协调与整合,从而用于异构计算。

在单个应用程序中整合多种加速器编程模型,无论是在软件层面还是运行时层面,都会带来诸多挑战。CUDA、SYCL或Triton等每种加速器API都有其独特的内核语言,并提供自定义的运行时接口,用于管理内存传输、内核启动以及同步操作。因此,应用程序必须首先使用相应的语言和编译工具链分别实现这些加速器内核。这些内核……

实验评估部分
本节通过两种具有代表性的应用程序——HPCCG和GPT-2——在异构平台上,评估了我们方法的性能和互操作性优势。首先,我们介绍了用于实验的硬件系统,包括通用计算机节点和GPU加速节点(见5.1节)。随后,我们分两步展示评估结果。第一步,我们重点分析基于GPU的执行方式(见5.3节),并比较了单内核结构与数据流执行方式的表现。我们评估了四种……

结论与未来工作
本研究表明,将基于任务的数据流模型与任务感知型库相结合,是一种实用且灵活的方法,可用于在异构系统上开发复杂的应用程序。我们的研究重点在于,如何通过将计算过程表示为DAG,并协调使用包括SYCL、Triton、OpenMP卸载功能以及厂商专用库在内的多种API,从而提升应用程序的可编程性、可扩展性和灵活性,所有这些都在统一的基于任务的运行时环境中实现。

代码可用性
为本项工作开发的源代码和评估脚本,包括对GPT-2、HPCCG、nOS-V和PoCL的贡献代码,均已存储在https://doi.org/10.5281/zenodo.17534763这一永久存储库中,可供公众获取。

CRediT作者贡献说明
Aleix Boné:写作——审阅与编辑、可视化、软件开发、研究工作。
Alejandro Aguirre:写作——审阅与编辑、软件开发、研究工作。
David álvarez:写作——审阅与编辑、原始稿件撰写、软件开发。
Pedro J. Martinez-Ferrer:写作——审阅与编辑、原始稿件撰写、指导工作、软件开发。维森特·贝尔特兰:写作——审稿与编辑、写作——初稿撰写、项目监督、项目管理、方法论设计、概念构思。利益冲突声明:作者声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。阿莱克斯·博内分别于2021年和2023年在西班牙巴塞罗那的加泰罗尼亚理工大学获得信息工程学士学位以及信息学创新与研究硕士学位。他目前是巴塞罗那超级计算中心系统工具与高级运行时小组的初级研究工程师。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号