ProfEdge：在边缘设备上高效构建深度神经网络性能评估模型

《ACM Transactions on Internet Technology》：ProfEdge: Efficient Construction of DNN Performance Evaluation Model on Edge Devices

　　

摘要 AI摘要

关闭

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

随着物联网（IoT）和人工智能（AI）技术的快速发展，边缘计算作为一种关键的计算范式应运而生。通过在数据源头附近进行处理，边缘计算能够提供更快、更高效的智能服务。然而，边缘设备的计算资源通常有限，现有的深度神经网络（DNN）延迟分析方法往往依赖于模型内部细节或大规模的延迟测量数据，这使得这些方法成本高昂，并不适合在黑盒部署场景中使用。本文提出了ProfEdge，这是一个基于高斯过程回归和贝叶斯优化的快速深度神经网络（DNN）延迟分析模型构建框架。ProfEdge能够在不同批量大小条件下自适应地采样实时延迟数据，并调整分析模型的超参数，以降低构建成本同时提高分析精度。具体来说，ProfEdge通过基于高斯过程回归的自适应采样机制来定位误差较大的区域，并动态优化采样过程；此外，它还设计了一个动态贝叶斯优化机制来提高延迟分析模型的准确性。最后，ProfEdge构建了一个跨设备性能映射模型，通过轻量级的分层校准将现有的分析模型迁移至目标设备，从而避免了完全重建目标设备的分析模型。在各种边缘设备和DNN模型（包括基于CNN和变压器的工作负载）上的实验表明，与现有方法相比，ProfEdge可以将分析误差降低80%以上，并节省超过70%的分析构建成本。跨设备迁移的结果进一步证明，ProfEdge仅需少量的目标设备校准样本即可在新设备上实现具有竞争力的分析精度。

AI摘要

AI生成的摘要（实验性)

此摘要是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现内容的相关性，并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是文章的官方总结。完整文章才是权威的版本。点击此处了解更多关于ACM AI摘要的信息。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的纯文本摘要，您必须具有高级访问权限。