面向边缘加速器的提前退出神经网络硬件感知协同设计框架

《IEEE Open Journal of the Computer Society》：Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators

　　

摘要：

在边缘加速器上部署提前退出神经网络（EENNs）不仅需要优化网络架构，还需要优化其硬件部署。退出配置、量化和硬件工作负载映射以非平凡的方式相互作用，影响内存流量、加速器利用率，最终影响能耗 - 延迟权衡。本文提出了一种面向 EENNs 的硬件感知协同设计框架，在统一的 NAS 流程中联合优化退出配置、量化感知训练和多核硬件映射。借助分析式设计空间探索，该框架为每个候选架构识别高效的工作负载映射，同时在搜索过程中提供准确的延迟和能耗估计。我们进一步将 EENN 部署建模为一个受约束的多目标优化问题，平衡预测准确率、能耗 - 延迟乘积、退出开销和动态推理效率。在 CIFAR-10 上的实验结果表明，在 8 位量化下，所提出的框架相比静态基线实现了超过 50% 的能耗 - 延迟乘积降低。这些结果表明，联合优化架构和部署对于实现异构边缘加速器上动态推理的全部效率潜力至关重要。