兼容性比率作为嵌入式加速器硬件/DNN协同设计的指导准则

《ACM Transactions on Embedded Computing Systems》：Compatibility Ratio as a Guideline for Hardware/DNN Co-Design of Embedded Accelerators

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

日益庞大的深度神经网络（DNNs）在计算能力和能耗方面带来了严峻挑战，尤其是在边缘端。这一挑战通常需要通过专用的推理硬件加速器来解决。硬件/软件协同设计可以通过联合优化硬件微架构和 DNN 工作负载映射来提升整体系统性能。然而，量化此类加速器在协同设计过程中未被考虑的工作负载上的泛化能力并不是一件容易的事。针对这一问题，我们引入了兼容性比率（CR）作为一条简单的准则，用于评估针对不同工作负载的最优硬件微架构配置之间的性能权衡。CR 使我们能够量化将一个工作负载部署到为另一个工作负载优化的加速器上时的性能权衡。我们通过基于脉动阵列的加速器的两个案例研究来展示 CR。首先，我们将 CR 应用于在 13 个 DNN 工作负载上探索加速器设计空间。在这一案例研究中，CR 分析表明，协同设计过程中代表性工作负载的选择可能会使评估设计空间中被忽略工作负载的归一化面积-延迟成本隐式增加 30% 以上。此外，我们使用 CR 分析了基于脉动阵列的加速器模板在超出单一 DNN 工作负载、覆盖一个 DNN 工作负载族的泛化能力如何。我们的发现表明，对于所考虑的加速器，针对 DNN 模型族优化的配置可能在高度针对性的单一配置和通用配置之间占据一个有效的中间位置。其次，我们将 CR 作为加速器模板专门变体中实际内存重定向决策的准则。在这一案例研究中，CR 量化了在所选内存面积和延迟目标下，内存重定向的加速器衍生版本是否合理。对于这个双配置内存重定向案例，解析 CR 与实现层面的 CR 相差 0.01，对应归一化 CR 量表上的一个百分点。

AI 摘要

要查看此 AI 生成的通俗语言摘要，您必须拥有高级访问权限。