一种适用于FPGA集群上层次并行CNN训练的灵活框架

《ACM Transactions on Reconfigurable Technology and Systems》：A Flexible Framework for Layer-Parallel CNN Training on FPGA Clusters

　　

摘要AI摘要

要查看此AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

我们提出了一个灵活且可扩展的硬件/软件框架，用于在通过以太网连接的FPGA集群上使用紧密流水线的层并行性训练CNN。从高级CNN和集群描述开始，该系统自动将层映射到（可能是异构的）设备上，生成特定于FPGA的比特流，并协调完全流式的反向和正向传递，同时将大多数参数和梯度保留在片上内存中。我们展示了对通用DAG风格的CNN（包括MobileNetV2、MnasNet和ResNet18）的支持，并用在线归一化替换了批量归一化，以在这种流式设置中实现归一化，同时对于所有三个网络，其ImageNet验证准确率与使用批量归一化的PyTorch基线相当。一个基于CP-SAT的规划器，在SpinalHDL提供的实现级资源估计的驱动下，在DSP、片上内存、DRAM带宽和网络带宽的约束下进行资源感知的放置，并暴露了特定于FPGA的优化，如多泵浦矩阵乘法引擎、 aware内存平铺和激活重新计算。我们在一个八板Altera Agilex 7集群上评估了吞吐量、资源利用率和能效，并显示对于MobileNetV2和MnasNet，该框架每帧实现的能耗比Nvidia V100、A100和H100 GPU基线低$2\times$，这突出了基于FPGA的层并行训练在处理以分离卷积为主的CNN时的潜力。

AI摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者编写或审阅。它旨在帮助发现、辅助读者评估相关性，并帮助来自相关研究领域的读者理解工作内容。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍然是权威版本。点击此处了解更多。

点击来评论此摘要的准确性、清晰度和实用性。这样做将有助于改进和未来重新生成的版本。

要查看此AI生成的简体语言摘要，您必须具有高级访问权限。