DyTopK：通过动态浮点量化技术在嵌入式FPGA上加速Top-K SpMV运算

《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》：DyTopK: Accelerating Top-K SpMV on Embedded FPGAs via Dynamic Floating-Point Quantization

Top-K稀疏矩阵向量乘法是推荐系统和图神经网络的核心运算，DyTopK通过动态FP4/FP8量化与PCSR压缩格式优化，在嵌入式FPGA上实现12.4倍带宽利用率提升和8.6倍计算吞吐量提升，能效比现有FPGA方案高2.3倍且精度损失小于0.5%。

　　

摘要：

Top-K稀疏矩阵与向量乘法是现代推荐系统和图神经网络（GNNs）的计算核心。虽然将这些计算任务迁移到边缘设备可以显著降低延迟并提高隐私保护水平，但这带来了重大的架构挑战。最近在数据中心部署的基于HBM的现场可编程门阵列（FPGA）加速器展现出了良好的性能，但它们的设计并不适合功耗受限的嵌入式FPGA，因为这些嵌入式FPGA受到标准DDR接口带宽限制以及片上逻辑资源不足的影响。在本文中，我们提出了DyTopK——一种专为嵌入式边缘设备设计的软硬件协同优化加速器。与以往依赖粗粒度块级量化或复杂过滤的方法不同，DyTopK引入了一种创新的动态FP4/FP8量化机制，能够针对每个非零元素单独调整数值格式。为了最大化利用有限的片外带宽，我们还提出了一种名为Packet CSR（PCSR）的稀疏矩阵压缩格式，该格式与标准DDR4接口的64位数据总线宽度完全匹配。为了进一步优化数据传输效率，我们设计了一种高效的硬件架构，该架构包含可扩展的处理单元阵列，可以根据可用的逻辑资源灵活扩展系统规模。实验结果表明，与最先进的CPU基准相比，DyTopK在有效带宽利用率上实现了高达12.4倍的提升，在计算吞吐量上提升了8.6倍。此外，其在能效方面的表现也优于之前的FPGA实现方案，能量效率提高了2.3倍，同时在K=100时准确率损失可忽略不计（召回率下降不到0.5%）。