RL-MUL 2.0：利用并行深度强化学习和空间压缩技术进行乘法器设计优化

《ACM Transactions on Design Automation of Electronic Systems》：RL-MUL 2.0: Multiplier Design Optimization with Parallel Deep Reinforcement Learning and Space Reduction

基于强化学习的乘法器优化框架提出矩阵张量表示与CNN智能体结合，通过Pareto奖励平衡面积与延迟，结合并行强化学习与设计空间剪枝，扩展至MAC设计优化，实验验证在面积、功耗、延迟上显著优于基线方案。

　　

摘要

乘法是许多应用中的基本运算，乘法器在各种电路中被广泛采用。然而，由于设计空间庞大，优化乘法器颇具挑战性。在本文中，我们提出了一种基于强化学习的乘法器设计优化框架。我们使用矩阵和张量表示法来描述乘法器的压缩树结构，从而能够将卷积神经网络无缝集成作为智能体网络。该智能体通过基于帕累托原理的奖励函数来优化乘法器结构，以实现面积和延迟之间的平衡。此外，我们还通过引入并行强化学习和设计空间剪枝技术对该框架进行了改进，并将其应用范围扩展到融合乘累加（MAC）设计的优化。在不同位宽的乘法器上进行实验结果表明，我们提出的方法所生成的乘法器在面积、功耗和延迟方面均优于所有基准设计。通过比较使用我们方法与基准方法设计的处理单元阵列的面积、功耗和延迟，进一步验证了其性能优势。