TSPT：一种用于HPL-MxP基准测试能效优化的两阶段参数调整方法

《Future Generation Computer Systems》：TSPT: A two-stage parameter tuning method for HPL-MxP benchmark energy efficiency optimization

两阶段参数调优方法TSPT优化HPL-MxP混合精度AI计算能效，通过加权集成预测模型指导贝叶斯优化降低调优成本，结合动态频率调整策略适应负载变化，在Kunpeng和Ascend平台实现12.47%能效提升。

　　

颜志宇|林伟伟|穆奇|林建鹏|李志豪

华南理工大学计算机科学与工程学院，广州，510000，中国

摘要

高性能计算（HPC）系统的持续扩展使得能源消耗成为一个极其重要的问题，尤其是在混合精度人工智能（AI）工作负载中。因此，HPL-MxP基准测试成为了评估HPC集群混合精度性能的关键工具，提高其能源效率对于降低运营成本至关重要。然而，现有的调优方法严重依赖于昂贵的实际机器测试，而静态的联合频率调优无法应对运行时负载的变化，从而导致显著的能源浪费。为了解决这些问题，我们提出了一种两阶段参数调优（TSPT）方法来优化HPL-MxP的能源效率，该方法将静态系统参数调优与动态频率调优分开。具体来说，在第一阶段，我们开发了一个基于加权集成的能源效率预测模型，以指导贝叶斯优化器（BO）高效搜索最优系统参数组合，从而显著降低调优成本。在第二阶段，基于这一最优参数配置，我们设计了一种能够识别CPU核心组运行时负载变化的动态频率调优策略，进行细粒度的频率调整，以降低功耗而不影响计算性能。在Kunpeng和Ascend异构平台上的实验结果表明，TSPT在能源效率方面优于现有方法，与服务器的最佳节能模式相比，实现了高达12.47%的改进。

引言

在过去四十年中，高性能计算（HPC）已成为科学研究、工程模拟和商业应用不可或缺的工具[1]。然而，随着计算任务规模的不断扩大，HPC集群的能源消耗问题日益突出。近年来，由于预训练大型模型和科学计算中AI的快速发展，AI训练和推理任务对HPC资源的需求急剧增加。图1展示了2022年至2027年全球数据中心和AI数据中心的预计功耗趋势[15]，AI负载进一步加剧了HPC系统的能源消耗问题[2]。研究表明，混合精度计算在AI相关任务中可以提供高达四倍的加速[3]，这使得优化HPC集群上混合精度AI工作负载的能源效率变得十分紧迫。

作为HPC领域最重要的基准测试，High Performance Linpack（HPL）基准测试的结果用于TOP500排名，可以从多个角度全面评估超级计算机的性能，包括计算性能和内存访问效率[4]。HPL-MxP（High-Performance Linpack Mixed Precision）是HPL的一个重要衍生版本，它采用低精度LU分解结合广义最小残差（GMRES）方法迭代求解高精度解。这种方法在计算性能和数值精度之间取得了平衡[5]，为评估和优化大规模混合精度矩阵计算中AI芯片的性能提供了有价值的参考。这一特性使其成为HPC和AI之间的关键桥梁，因此优化HPL-MxP的能源效率有望有助于降低混合精度AI计算中的能源消耗。

HPL-MxP的能源效率优化在软件和硬件层面都面临重大挑战。在软件方面，评估HPC系统性能时，HPL-MxP需要配置关键参数（如矩阵大小和进程网格），这些参数的输入设置必须与原始HPL基准测试保持一致。同时，Linux内核参数通过调节硬件资源分配直接影响系统行为；它们的选择直接影响基准测试结果的准确性和系统的能源效率。由于HPC系统的非线性行为以及庞大的参数空间，传统的手动调优或理论建模方法不足以应对现实世界场景的复杂性[6]。在硬件方面，HPL-MxP的核心计算涉及大量的通用矩阵-矩阵乘法（GEMM）操作，计算负载在CPU核心之间以及CPU与GPU/NPU加速器之间分布不均。这种不平衡可能导致计算效率低下[7]。在这种动态工作负载条件下，固定电压-频率设置下的运行会导致由于资源利用率波动而产生显著的能源浪费。

为了解决上述双重挑战，主流的HPL-MxP能源效率优化方法可以分为两类：（1）基于黑盒优化的自动调优方法用于系统参数优化。虽然这些方法可以简化手动调优过程，但它们严重依赖于大量的实际机器执行数据，导致较高的计算开销和较慢的收敛速度[8]，[9]。（2）频率缩放方案通常采用静态策略，如优化的固定频率或功率限制[10]。然而，这些方法缺乏对运行时工作负载动态特性的认识，难以调整硬件参数以满足任务需求，从而显著影响能源利用效率。

鉴于异构HPC环境中参数调优的高开销以及现有频率调优方案的缺乏动态性，我们提出了一种新颖的两阶段参数调优方法。在第一阶段，使用能源效率预测模型来优化计算系统的关键参数配置。在第二阶段，基于最优参数组合，应用动态频率调优进一步降低功耗并提高基准工作负载的能源效率。所提出的TSPT方法在Kunpeng和Ascend异构平台上得到了验证。本文的主要贡献如下。

(1)

我们提出了一种用于HPL-MxP基准测试能源效率优化的两阶段参数调优方法（TSPT）。在Kunpeng和Ascend异构平台上的实验表明，与基线性能策略相比，TSPT实现了12.47%的能源效率提升。

(2)

我们开发了一个基于加权集成的能源效率预测模型作为贝叶斯优化的替代目标函数，实现了跨参数组合的能源效率高效评估，并显著降低了实际机器调优成本。

(3)

我们设计了一种能够识别CPU核心组运行时负载模式的动态频率调优策略，从而实现细粒度和自适应的频率调整，降低功耗而不影响计算性能。

本文的其余部分组织如下：第2节回顾了相关的参数调优方法。第3节介绍了所提出的TSPT方法的设计。第4节展示并分析了实验结果，第5节总结了本文并概述了TSPT方法的未来研究方向。

节选内容

系统参数调优方法

现代计算机系统包含大量可调节的硬件和软件参数，其配置对整体系统性能有显著影响。这使得最优参数调优成为一个极具挑战性的研究问题。依赖经验知识的传统手动优化方法在实际HPC场景中存在显著局限性：一方面，参数空间维度高且耦合性强。基准测试的执行需要大量的时间和能源

TSPT设计

计算系统的关键参数是HPL-MxP能源效率优化的基本静态变量。它们的优化决定了系统的资源分配策略，并直接影响后续动态优化的范围。相比之下，处理器频率参数是用于实时能源调节的动态变量；它们的设置必须响应工作负载的变化，并且可以在静态优化的基础上进一步降低功耗

实验设置和程序

实验平台基于华为Atlas 800（型号9000）训练服务器构建。该服务器配备了四个Kunpeng 920处理器（型号5220），运行频率为2.6 GHz，四个Ascend 910B加速器，以及八个DDR4 256 GB内存模块。部署的HPL-MxP软件版本为HPL-MxP@2.3d%gcc7.5.0+AscendCL。如图10所示，每个Kunpeng 920处理器采用多DIE架构，由三个DIE（两个计算DIE和一个I/O DIE）组成。每个计算DIE包含24个核心

结论与未来工作

本文研究了HPL-MxP的能源效率优化，并提出了一种称为TSPT的两阶段参数调优方法，该方法在Kunpeng和Ascend异构平台上得到了验证。在第一阶段，构建了一个基于加权集成的能源效率预测模型，作为贝叶斯优化（BO）的替代目标函数，实现了最优系统参数的高效识别，同时显著降低了实际机器调优成本。

CRediT作者贡献声明

颜志宇：撰写——原始草案、软件、方法论。林伟伟：撰写——审阅与编辑、监督、资金获取。穆奇：撰写——审阅与编辑、调查。林建鹏：撰写——审阅与编辑、方法论。李志豪：撰写——审阅与编辑、方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

颜志宇目前在中国华南理工大学计算机科学与工程学院攻读硕士学位。他的研究兴趣主要包括高性能计算、能源效率优化和AI算法。