E2CAP：一种高效的FPGA加速器，用于深度强化学习，具备经验压缩功能以及可配置的PE阵列

《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》：E2CAP: An Energy-Efficient FPGA Accelerator for Deep Reinforcement Learning With Experience Compression and Configurable PE Array

DRL加速器E2CAP通过经验池压缩和可配置处理核心解决内存与计算效率问题，在FPGA上实现DQN训练，经验数据压缩比达98.19%，能效比CPU和GPU分别提升33.01倍和17.72倍，多维性能最优。

　　

摘要：

深度强化学习（DRL）已成为解决机器人技术、自主系统和游戏等领域复杂决策任务的强大工具。然而，在硬件平台上加速DRL面临三个主要挑战：1）经验回放数据占用大量内存；2）由于权重排列问题导致权重访问效率低下；3）在深度神经网络（DNN）的推理和训练过程中处理元素之间的计算不平衡。为了解决这些问题，我们提出了E2CAP，这是一种专为DRL工作负载设计的节能型现场可编程门阵列（FPGA）加速器。E2CAP集成了一种压缩策略，显著减少了DRL模型中经验池的数据量，从而实现了经验池在芯片上的直接部署。此外，E2CAP还具备基于可配置处理单元（CPEs）的可配置阵列处理核心（CAP），支持CPE内部的以及CPE之间的配置。这种设计有效解决了权重排列问题和计算不平衡问题，提高了计算效率和硬件资源利用率。我们使用DQN算法在E2CAP上实现了完整的芯片级DRL推理和训练。实验结果表明，经验回放数据的压缩比达到了98.19%。与现有的CPU和GPU相比，E2CAP的能效分别提高了33.01倍和17.72倍，同时在多维性能上也优于现有的基于FPGA的DRL加速器。