HiSo：针对PIM架构，通过混合数据流方式共同优化层内和层间调度方案

《ACM Transactions on Architecture and Code Optimization》：HiSo: Co-optimizing the intra- and inter-layer scheduling schemes with the hybrid data flow for PIM architectures

处理内存架构下CNN加速的混合数据流调度优化框架研究，提出PP-IS数据流和跨层协同优化方法，显著提升能效和性能比。

　　

摘要

内存处理（PIM）架构通过整合计算和内存资源，成为实现能效高效卷积神经网络（CNN）加速的有前景的候选方案。为了部署CNN，基于PIM的设计需要一种调度方案，将庞大的硬件资源转化为实际性能。该调度方案包括层内调度方案（用于映射某一层的数据）和层间调度方案（用于为多层分配资源）。目前，针对基于PIM的调度方案的研究仍处于早期阶段，并面临以下限制：首先，层内调度方案主要采用权重静止（WS）数据流来避免权重移动；然而，对于某些深度神经网络（DNN）或某些层而言，激活值的移动量大于权重的移动量，这使得激活值的移动成为降低延迟和能耗的瓶颈。其次，输入静止（IS）数据流为进一步减少激活值的移动提供了新的机会；但传统的IS数据流引入了大量交叉计算，并依赖于3D-ReRAM结构。第三，DNN的逐层处理结构导致了复杂的层间数据依赖性和工作负载不平衡，降低了流水线效率。第四，关于层内和层间调度方案协同优化的研究非常有限。

受这些观察结果的启发，我们提出了一个基于混合数据流的层内和层间调度方案优化框架，名为HiSo。具体而言，我们提出了一种新的数据流方案PP-IS，它通过根据卷积窗口选择激活值来替代卷积展开操作，从而减少激活值的移动。我们还定义并优化了分区方法，以提高WS和PP-IS数据流的数据重用率和计算并行性。接着，我们通过使用混合数据流来权衡性能和能效。最后，我们通过协同优化层内和层间调度方案进一步提升了能效和性能。实验结果和分析表明了HiSo的潜力。与现有最先进的设计NEBULA相比，HiSo在能效、性能和功耗方面分别提升了1.03倍、约17.98倍、1.6倍和约229倍。