Diff-Acc：一种用于无条件扩散模型的高效FPGA加速器

《ACM Transactions on Embedded Computing Systems》：Diff-Acc: An Efficient FPGA Accelerator for Unconditional Diffusion Models

扩散模型加速技术在FPGA上的实现，通过新型逐步量化与硬件优化提升边缘计算效率，实验验证其性能超越传统CPU/GPU 10倍以上。

　　

摘要

在人工智能生成内容（AIGC）的时代，扩散模型在图像、视频、文本、材料建模和分子设计等多种任务中取得了显著的成功。然而，由于逆向去噪过程需要大量迭代，扩散模型计算成本较高，这限制了其进一步的发展。因此，迫切需要加速扩散模型的运行速度，尤其是在需要实时计算的边缘计算场景中。尽管研究人员通过采用高效采样或模型量化等方法在算法层面进行了优化，但仍然存在精度下降的问题。更重要的是，他们忽视了硬件层面的加速挑战。本研究通过引入Diff-Acc来弥补这一空白，这是首个针对无条件扩散模型的FPGA加速器，它采用了一种新颖的分步量化方法，仅需最少的校准数据即可实现最先进的（SOTA）PTQ量化精度。此外，我们还采用了几项面向硬件的优化措施来降低计算开销。在架构层面，我们全面分析了扩散模型的计算流程，并提出了一种具有组内并行性的新架构以应对长迭代问题。同时，我们在微架构层面解耦了数据依赖关系，并采用了适当的计算转换。在两个无条件扩散模型（DDIM和DDPM）以及两个图像数据集（CIFAR-10和ImageNet）上的实验表明，我们的量化方法在8位PTQ量化下显著提升了图像质量（FID：6.67，sFID：11.24）。与基于服务器的平台（Tesla V100和Intel Xeon）和基于边缘的计算平台（Raspberry Pi 4和Jetson Nano）相比，部署在Zynq UltraScale+ XCZU9EG FPGA上的Diff-Acc实现了高达12.5倍的能效提升。特别是在与基于边缘的计算平台相比时，Diff-Acc的性能分别比CPU提高了10.26倍，比GPU提高了1.97倍。