一种用于DNN训练能耗优化的预测型离线-在线混合方法

《Sustainable Computing: Informatics and Systems》：A predictive offline–online hybrid approach to DNN training energy optimization

　　

何凌|李东妮|江从峰|刘军明|徐传奇|张良斌

中国浙江省杭州市杭州电子科技大学

摘要

随着人工智能的快速发展，GPU在数据中心中的作用愈发重要。然而，GPU的高性能计算能力也带来了显著的能耗问题。尽管现有方法试图通过优化GPU或工作负载来提高能效，但往往缺乏全面考虑。为解决这一挑战，本文提出了一种能源意识策略，通过同时优化GPU功率限制和工作负载批量大小，提升GPU的能效和工作负载性能。该策略包括离线和在线两个部分：在离线阶段，我们采用KNN-XGBoost预测模型来预测不同配置组合下的功耗和性能，并利用能量-延迟总和指标确定最佳配置；在在线阶段，则在这些离线确定的最佳配置基础上进行线性搜索，评估相应的功耗、性能和能效指标，以找到最有效的配置。实验结果表明，与默认策略以及仅离线优化策略相比，所提出的方法显著降低了GPU的能耗，尤其是在深度神经网络工作负载中。具体而言，它使GPU的平均总能耗降低了13.2%，工作负载运行时间减少了14.1%，同时使能量-延迟总和指标提升了13.8%。

引言

在当今社会，能耗已成为全球关注的焦点[1]。在此背景下，作为大规模计算机系统的加速器，图形处理单元被广泛用于处理深度神经网络等计算密集型任务。借助GPU强大的计算能力，研究人员和工程师能够加快复杂算法的执行速度，进一步提升人工智能系统的性能和响应速度[2]。然而，随着GPU在科学计算、深度学习等领域的广泛应用，其高能耗问题也引起了广泛关注。特别是在云计算和大型数据中心中，GPU的高能耗不仅会导致高昂的运营成本，还会对环境造成严重影响[3]。

面对能耗和生态问题，系统管理员希望同时实现降低能耗和提升性能的目标。这种兼顾能耗降低和性能提升的优化过程被称为多目标优化。在多目标优化中，需要在满足不同目标之间可能存在的冲突需求的同时实现平衡。处理多目标优化问题的一种常见方法是将多个目标整合为一个单一的标量适应度函数，该函数可作为优劣度指标，反映不同解决方案的整体效用。

为了优化能耗和性能，研究人员和工程师致力于开发新的技术和策略[4][5]。通过深入理解GPU的能效特性以及应用工作负载的能源需求，可以设计出更加智能且可持续的能源管理策略，为数据中心、云计算、高性能计算以及其他大规模计算环境带来巨大机遇。

在针对GPU服务器的能效优化方面，研究人员提出了两种主要方法：基于硬件的能源优化和基于软件的能源优化。基于硬件的优化包括改进GPU架构、电源管理机制、高效冷却系统以及动态电压频率调节等技术[6]；而基于软件的优化则涵盖能源感知的任务调度算法[7]、CPU与GPU之间的工作负载分配[8]、架构级/运行时适配、动态资源分配[9]以及针对特定应用的优化方法[10]。不过，大多数关于能效因素的研究主要集中在硬件配置或工作负载配置上，往往忽视了这两方面的综合考量[11][12]。在本研究中，“GPU配置”特指一组可调节参数，即功率限制、核心及内存时钟频率以及批量大小。

基于上述研究成果，本文提出了一种针对深度神经网络工作负载下GPU的能效优化策略。该策略以能量-延迟总和这一结合了能耗和执行时间的综合指标作为评估标准，将离线预测与在线搜索相结合，旨在同时优化能耗和性能。本研究的主要贡献如下：

• •
  同时考虑GPU功率限制、时钟频率配置和批量大小这三个关键因素，并引入能量-延迟总和作为综合优化指标，实现能耗与性能的双重优化；
• •
  在离线阶段，通过基准测试实验和KNN-XGBoost预测模型获得初步的最佳配置；而在在线阶段，则在预测出的最优配置基础上进行简单的线性搜索，以修正误差并确定最终配置；
• •
  在深度神经网络工作负载上验证了所提方法的有效性，结果显示该策略可使GPU的总能耗平均降低13.2%，执行时间减少14.1%，同时能量-延迟总和指标提升13.8%。

章节节选

相关研究

在GPU能耗管理和优化领域，研究人员提出了多种旨在提升GPU能效的技术，包括动态电源管理、频率和电压调节、任务调度与资源管理、负载均衡以及能源感知型编译器优化等。此外，还有一些研究着眼于从架构层面改进GPU以提高能效。以下内容将介绍

GPU能效特性研究

本节重点研究GPU上深度神经网络工作负载的能耗、性能及能效特性。深度神经网络是一类用于深度学习任务的神经网络模型，具有多层结构以及卷积、池化和非线性激活函数等复杂的计算操作。研究GPU在深度神经网络工作负载下的能耗、性能和能效特性，对于推动高效且可持续的深度学习发展具有重要意义

高能效GPU与负载联合配置策略

数据中心运营商希望同时降低能耗并提升性能，这被称为多目标优化。常见的能效优化方法包括动态电压频率调节、负载调度、资源分配优化以及负载自适应调整等。通过这些方法，GPU能够实现更高的能效，从而助力数据中心的可持续发展。不过，这些方法往往只关注GPU本身或工作负载中的某一方面

结论

本文研究了GPU的能效问题，并提出了一种策略，通过同时优化GPU的功率限制和工作负载配置，来实现能耗与性能的全面提升。首先，本文通过两种典型的工作负载，综合考虑了GPU时钟频率、功率限制以及工作负载的精度和批量大小等因素，对GPU的能耗、性能和能效进行了评估。基于这些分析，本文提出了

CRediT作者贡献说明

何凌：撰写——初稿，概念构思。李东妮：方法论，数据整理。江从峰：撰写——审阅与编辑，指导，资金获取。刘军明：形式分析。徐传奇：形式分析。张良斌：指导。

利益冲突声明

作者声明不存在任何可能影响本研究客观性或完整性的利益冲突或个人关系。

致谢

作者衷心感谢以下机构的财政支持：中国国家自然科学基金委员会（项目编号：61972118）、国家电网公司的科技项目（项目编号：5700-202358842A-4-3-WL）、浙江省基础公益研究计划（项目编号：LGF20F020005）以及浙江省重点研发计划（项目编号：2023C01028）。