摘要
具有片上高带宽内存的现场可编程门阵列是一种适用于低延迟、高精度定制化人工智能推理的理想平台，但现有的高级综合流程在控制张量如何分配到多个独立内存通道方面能力有限。AMD Alveo V80将其820 GB/s的带宽分配到64个伪通道上，每个通道的带宽上限为12.8 GB/s，因此实际带宽取决于一种明确的张量到通道的分配策略，而现有基于框架的流程并未体现这一策略。本文提出了一种基于HLS的在V80上进行推理的方法，该方法包含两个核心部分：一个设计时分配框架，根据张量的重用频率和访问模式决定将其存储在片上存储器（BRAM/URAM）、单个HBM通道或多个通道组成的条带中；以及一个三阶段的HLS流程，包括功能基准测试、展开与分配后的吞吐量分析，以及考虑精度因素的DSP打包。该方法通过五个模型核进行验证——参数化的GEMM、ResNet-18、ViT-Small、BERT注意力模块以及GPT-2 Small——并实现了九种引擎，涵盖GEMM（FP32、INT8、INT4）、卷积、注意力机制、层归一化、SoftMax、池化以及嵌入查找等功能。这九种引擎均使用Vitis HLS 2024.2进行综合，在实际Alveo V80芯片上以400 MHz的频率（周期为2.5纳秒）运行，且每种引擎都能在最佳情况下满足时间要求。我们报告了每种引擎的循环计数、布局后的利用率以及动态功耗估算值，并将不同引擎的延迟和能耗与使用相同模型核的NVIDIA Titan RTX（GPU）和Intel Xeon W-3223（CPU）进行了比较。经过硅片验证的一个关键结果是，与FP32相比，INT8格式可使GEMM操作的DSP58资源占用减少约一半（从27个单元降至14个单元），而INT4格式则无法进一步降低计算开销，仅起到内存分配的作用。完整模型的组合、屋顶线分类以及张量到通道的分配策略均为分析结果或设计时的预测值，并非端到端的实测性能数据。分配策略所依据的带宽扩展原理在V80上得到了直接验证：1比64的通道比例测试显示，HBM的总带宽几乎呈线性增长，其数值在设备峰值带宽的5%到13%之间；将GPT-2语言模型头的操作数放在单个通道上与按照框架分配到八个通道上相比，速度提升了6.81倍，这直接验证了条带化分配策略的有效性。这些设计指南旨在为那些使用配备HBM的FPGA进行开发的工程师提供参考。
