针对混合精度量化深度神经网络（DNN），采用定制的RISC-V核心实现高效且灵活的边缘推理

《ACM Transactions on Architecture and Code Optimization》：Efficient Flexible Edge Inference for Mixed-Precision Quantized DNN using Customized RISC-V Core

本文提出一种软硬件协同框架，解决混合精度量化在边缘设备部署中的灵活性和能效问题，创新点包括自适应重新打包、动态数据流和RISC-V SIMD扩展，实验显示速度提升1.23-1.58倍，能效达1204 GOPS/W。

　　

摘要

混合精度量化（MPQ）已成为在资源受限的物联网边缘设备上部署深度神经网络的关键技术，它能够在保持精度的同时实现高效的TinyML应用。然而，当前的MPQ解决方案存在以下主要局限性：在支持多种神经架构方面灵活性不足，且缺乏专为边缘部署设计的节能硬件加速机制。为了解决这些挑战，我们提出了一个软硬件协同设计的框架，用于优化混合精度量化神经网络以适应边缘人工智能推理任务。我们的框架引入了以下关键创新：一种自适应的数据重排序方案以提高数据利用率；针对计算密集型低位宽操作符的动态数据流方案；以及针对RISC-V处理器定制的SIMD（单指令多数据）指令扩展，以优化混合精度计算性能。实验结果表明，与现有的RISC-V实现相比，我们的框架在2-8位操作上实现了1.23倍至1.58倍的加速性能，同时保持了1204 GOPS/W的优异能效。此外，我们的设计将功耗控制在2.74mW以内，特别适合对成本敏感的边缘设备部署。这些进步为下一代物联网系统提供了实用的解决方案，这些系统需要在边缘设备上实现自适应精度和超低功耗运行。