DAPart：一种基于在线动态路由（DRL）的自适应分区框架，用于加速边缘计算中的深度神经网络（DNN）推理并节省能源

《ACM Transactions on Sensor Networks》：DAPart: An Online DRL-based Adaptive Partition Framework for DNN Inference Acceleration and Energy Conservation in Edge Computing

　　

摘要 AI摘要

要查看此AI生成的摘要，您必须有高级访问权限。

了解更多 登录

摘要

摘要

在数据驱动解决方案主导的时代，深度神经网络（DNN）已被证明是各种领域广泛应用中的关键工具。为了满足当代需求的不断增长，DNN在深度和架构方面都在不断发展。然而，在移动设备上部署复杂的DNN模型可能会导致处理延迟增加和能耗上升。新兴的移动边缘计算（MEC）通过在接入点分配计算能力，使得可以分割DNN模型，从而在移动设备上节省能量并降低推理延迟。现有的DNN分割方法通常需要离线训练预测模型以做出分割决策，这需要大量的标注数据集，并可能导致较长的预处理时间。在本文中，我们开发了一种基于在线深度强化学习（DRL）的自适应分割方法，以动态确定最佳分割决策，从而同时加速DNN推理并降低能耗。我们在包含NVIDIA Jetson Nano和配备RTX3090的边缘服务器的边缘计算场景中运行了所提出的算法，针对四种不同的DNN模型进行了测试，包括VGG16、MobileNetV2、ResNet50和GPT2-medium。然后我们收集了实际的处理延迟和能耗数据，并将所提出算法的性能与最先进的解决方案进行了比较。实验结果表明，即使在不同的通道条件下，DAPart也能实现平均38.8%的延迟减少和36.5%的能耗减少。

AI摘要

AI生成摘要（实验性）

此摘要是使用自动化工具生成的，未经文章作者的撰写或审核。它旨在帮助发现相关内容、协助读者评估文章的相关性，并帮助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是文章的官方总结。完整文章才是权威版本。点击此处了解更多。

点击此处来评论此摘要的准确性、清晰度和实用性。这样做将有助于改进和未来重新生成的版本。

要查看此AI生成的简易语言摘要，您必须有高级访问权限。