ADaPS-FC：通过在边缘计算平台上采用通道划分技术提升性能

《ACM Transactions on Embedded Computing Systems》：ADaPS-FC: Enhancing Performance Through Channel Division on Edge Computing Platforms

　　

摘要 AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

人工智能（AI）应用的普及推动了对在各种设备平台上部署神经网络（NNs）的巨大需求。现代神经网络的计算强度非常高，即使是相对简单的卷积神经网络（CNNs）也常常需要昂贵的专用硬件才能高效运行。为了应对这一挑战，将推理工作负载分布在互连的、资源受限的设备上的技术变得越来越重要。虽然现有的方法通常依赖于经验模型或仅支持有限的划分维度，但我们引入了ADaPS-FC，这是一种用于在异构嵌入式设备上优化分配CNN推理工作负载的新框架。我们的分析模型划分了4D CNN张量的高度、宽度和通道维度，同时探索了能够实现层融合的划分配置。此外，它还为全连接层和小输出操作引入了权重划分策略，以改善内存使用和延迟，充分考虑了每个设备的计算能力和设备间的通信开销。

本工作扩展了之前提出的ADaPS方法，解决了CNN模型后期不可分割层中遇到的限制。为了高效地遍历可能的划分空间，ADaPS-FC采用了一种混合优化算法，该算法结合了Alpha–Beta剪枝和动态规划来处理早期层，其中高度或宽度划分是可行的。对于后期层，由于之前的方法无法应用空间划分，该框架引入了权重（通道）划分以进一步实现分配。我们在部署在互连异构硬件上的多个CNN架构上评估了ADaPS-FC，配置范围从两个到四个设备。实验结果表明，ADaPS-FC平均将推理时间提高了1.3倍。

AI摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现、帮助读者评估相关性，并协助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。这将为改进和未来重新生成的版本提供参考。

要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。