HiTEA-3D：一种用于FPGA上实现高吞吐量与节能型3D CNN加速的设计框架

《IEEE Transactions on Circuits and Systems for Artificial Intelligence》：HiTEA-3D: A Design Framework for High-Throughput and Energy-Aware 3D CNN Acceleration on FPGA

3D卷积神经网络加速框架HiTEA-3D通过混合精度量化、动态切片和多数据获取模式优化FPGA资源利用率，生成可综合Verilog代码。其3D systolic阵列架构实现时空维度数据复用，在Xilinx FPGA上验证显示吞吐量提升50%、能耗降低33%。

　　

摘要：

本文介绍了HiTEA-3D，这是一个用于在资源受限的环境（如现场可编程门阵列FPGA）中实现高吞吐量、节能的3D卷积神经网络（CNN）加速的设计框架。该框架通过混合精度量化、动态平铺和多种数据获取模式来实现加速。HiTEA-3D框架接受由PyTorch描述的模型和FPGA规格作为输入，并生成可综合的Verilog代码以供实现。基于FPGA的设计采用了3D脉动阵列架构，以最大化时空维度上的数据重用率。3D脉动阵列的大小是通过在有效利用可用FPGA资源的同时最小化延迟来确定的。用于计算的基本处理单元（PE）块被设计为支持输入特征图和内核块的可变字长。该框架已在三种流行的3D CNN模型C3D、I3D和R(2+1)D上进行了评估，并在Xilinx Virtex-7和Zynq UltraScale FPGA上实现了。实验结果表明，通过HiTEA-3D框架生成的硬件加速器提升了性能，在所有测试网络中平均实现了50%的吞吐量提升和33%的能耗降低。该硬件架构是参数化的，可以移植到各种实现平台上。只需指定CNN模型和FPGA资源的高级规格，即可快速生成相应的设计。