PUMA：一种面向智能手机低功耗移动 AI 的 PMU 引导多域层感知 DVFS 框架

《Journal of Web Engineering》：PUMA: A PMU-Guided Multi-Domain Layer-Aware DVFS Framework for Low-power Mobile AI on Smartphones

　　

摘要：

现有的移动 GPU 动态电压和频率调节（DVFS）策略依赖粗粒度的利用率指标，并将 GPU 视为孤立控制域，未能反映深度神经网络（DNN）推理中层级的计算和内存多样性。本文提出了 PUMA，一个 PMU 引导的多域层感知 DVFS 框架。PUMA 利用 GPU 性能监控单元（PMU）数据在运行时识别逐层执行阶段（计算密集型、内存密集型或突发型）。在离线阶段，对具有代表性的 DNN 工作负载进行了剖析，跨越了涵盖 GPU、内存接口（MIF）和内部互连（INT）域的 504 种频率组合，以推导节能频率水平和 PMU 阈值。在运行时，PUMA 在现有调速器的基础上，对 GPU、MIF 和 INT 的频率决策应用基于阈值的轻量级有界修正。基于 Google Pixel 9 的内核级别并评估了六个 DNN 工作负载，与现有调速器相比，PUMA 平均将 SoC 功耗降低了 28.54%（最高 33.41%），能量降低了 23.76%（最高 27.97%），而推理延迟平均仅增加了 7.28%（最高 12.82%）。对 GPU、MIF 和 INT 的联合控制相比仅修正 GPU 带来了额外 11.4% 的平均功耗降低，并且 PUMA 在所有工作负载中实现了最低的能量延迟积。