迈向高效的基于LUT的PIM技术：一种适用于现代工作负载的可扩展且低功耗的方法

《IEEE Transactions on Parallel and Distributed Systems》：Towards Efficient LUT-based PIM: A Scalable and Low-Power Approach for Modern Workloads

　　

摘要：

在内存密集型 workload 中，数据传输所消耗的能量比计算多几个数量级。频繁的内存-处理器传输成为了关键的瓶颈。利用内存进行计算（Processing-using-memory, PuM）通过支持在 DRAM 子阵列的每个矩阵中独立访问列来减少数据传输，从而缓解了这一问题。在本文中，我们提出了 Lama，这是一种基于 LUT 的 PuM 架构，它通过支持独立列访问来高效执行 SIMD 操作。Lama 减少了能耗较高的内存激活指令的数量，而这些指令是大多数 PuM 架构中的主要开销来源。此外，Lama 支持高达 8 位的操作数精度，且无需分解计算，这与之前的 PuM 解决方案不同，同时仅增加了 2.47% 的面积开销。我们的评估显示，Lama 相对于最先进的 PuM 架构平均性能提升了 8.5 倍，相对于 CPU 提升了 3.8 倍，并且在能效方面也有显著提升。我们引入了 LamaAccel，这是一种基于 HBM 的 PuM 加速器，它利用 Lama 来加速 LLM 推理。通过将 MAC 计算转换为高效的能量消耗较低的加法和计数操作，LamaAccel 实现了高达 9.3 倍的能量减少以及 4.8 倍的速度提升。与 TPU/GPU 相比，它的性能提升了 19.2 倍；同时相比最先进的 PuM 基线方案，能耗降低了 5.8 倍，性能提高了 2.1 倍。