凤凰城：针对移动视频应用的多实例深度神经网络（DNN）的基于温度感知的片上推理技术

《ACM Transactions on Embedded Computing Systems》：Phoenix: Thermal-Aware On-Device Inference of Multi-Instance DNNs for Mobile Video Applications

移动设备多DNN推理中，Phoenix系统通过强化学习动态分配异构处理器任务并设计多退出网络架构，有效延迟热 throttling，维持帧率稳定，同时优化计算精度。

　　

摘要 AI 摘要

摘要

摘要

在移动设备上同时运行多个深度神经网络（DNN）会面临计算资源受限的挑战。以往的研究探讨了使用异构处理器来加速 DNN 推理，但往往忽略了热管理问题，而热管理问题会降低计算性能。在本文中，我们提出了 Phoenix 系统，该系统专门用于通过最大化准确率和确保达到所需的帧率来提升视频应用中多实例 DNN 的性能。Phoenix 能够将 DNN 任务分配到最适合的硬件处理器上，并通过强化学习理解复杂的热动态，从而延缓热节流的发生。尽管进行了任务优化分配，但多个 DNN 的连续推理仍可能导致热节流。为了应对性能下降，Phoenix 采用了多出口网络，动态执行推理任务以保持稳定的帧率。我们使用两个不同的基准测试和虚拟 YouTuber 流媒体应用程序对 Phoenix 进行了评估。结果表明，Phoenix 通过延缓热节流并实现最佳准确率，在保持稳定帧率的同时有效提升了设备性能。

AI 摘要

AI 生成的摘要（实验结果）

本摘要是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关信息、评估文章的相关性，并帮助来自相关研究领域的读者理解本文内容。它是对作者提供的摘要的补充，作者提供的摘要仍是文章的正式摘要。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

AI 生成的摘要

该摘要由基于已发表文章文本的自动化系统生成。

生成日期：2026年2月5日

本文探讨了在移动设备上同时运行多个深度神经网络（DNN）所面临的挑战，重点关注热管理问题，以确保需要实时响应的视频应用能够保持性能。移动设备的计算资源有限，运行多实例 DNN 会导致大量热量产生，从而引发热节流，降低计算性能并影响应用帧率。研究介绍了 Phoenix 系统，该系统通过优化异构处理器上的任务分配，并使用自适应多出口网络在热压力下平衡准确率和延迟来提升多 DNN 推理性能。

Phoenix 采用强化学习来学习一种热感知的任务分配策略，将 DNN 任务分配到最适合的处理器上，目的是在满足延迟要求的同时延缓热节流的发生。系统会实时监测设备参数（如温度、处理器频率和利用率），根据热状况的变化动态调整任务分配决策。即使发生热节流，Phoenix 也会利用多出口网络实现早期退出，从而减轻计算负担并维持帧率。这些多出口网络是通过神经架构搜索精心设计的，考虑了热节流引起的处理器特定性能下降模式。该架构优化了早期退出的数量、位置和结构，以在满足延迟要求的同时最大化准确率。

在运行时，Phoenix 实现了两种调度策略：一种是基于当前运行条件选择最准确退出点的最佳努力调度器；另一种是持续性能调度器，它会在热压力下主动调整退出深度，以长期稳定性能。这种方法使 Phoenix 能够在保持目标帧率的同时，将早期退出带来的准确率损失降至最低。该系统已在智能手机上进行了测试，测试场景包括运行多个 DNN 进行姿态估计和面部识别的虚拟 YouTuber（VTuber）应用程序。结果表明，Phoenix 有效延缓了热节流的发生，实现了更高的持续帧率，并且能在运行时产生最小的开销下适应实时热动态。

总之，Phoenix 通过结合强化学习进行任务分配、多出口网络设计和自适应调度，为移动设备上的热感知多实例 DNN 推理提供了一种新颖且全面的方法。这种联合优化使得多 DNN 应用能够在异构处理器上高效运行，显著提升了用户体验，同时减轻了热引起的性能下降，而不会过度牺牲准确率。这项工作强调了在设计移动 AI 推理系统时考虑热动态的重要性，并为未来在其他设备和工作负载类型上的应用扩展奠定了基础。