基于硬件衍生可接纳性界限的DRAM-PIM深度神经网络行缓冲稳定调度

《Journal of Systems Architecture》：Row-Buffer-Stable Scheduling of DNN for DRAM-PIM via Hardware-Derived Admissibility Bounds

　　

摘要

基于DRAM的存内处理（PIM）通过减少数据移动来改善深度神经网络（DNN）推理，但性能仍受限于具有存储体组织和行缓冲器的DRAM。即使是最优复用的、SRAM可行的映射方案，当循环遍历和地址映射反复替换已打开的行时，也可能演变为停顿主导的状态。我们提出了一种DRAM访问感知的执行重构方法，将行缓冲器稳定性作为编译时准入约束来处理。针对图块几何形状t、循环顺序π和DRAM映射策略m，定义了一个确定性的不稳定性指标Φ(t, π, m)，并从行变更时序和无重叠模型下的峰值计算吞吐量中派生出硬件耦合的容差阈值τ。对于Φ>τ的方案，通过解析方法进行剪枝；对于存活的方案，则通过循环顺序变更、可选的存储体交错映射以及根据SRAM限制和Φ≤τ边界所需的图块调整来进行重构。在五个DNN和每个模型超过100个DRAM-PIM设计点的评估中，包括16×16 PIM节点配置，使用Ramulator-PIM和Timeloop/Accelergy在相同硬件上与NICE-PIM进行对比评估，该方法实现了11.4–84.8%的MAC和8.6–75.8%的缓冲模块能耗降低，同时DRAM节省高达15.4%，NoC节省高达18.0%，并保持可比的全流程模拟周期数。该方法无需硬件更改即可筛选出容易产生DRAM停顿的执行方案。

引言

存内处理（PIM）架构通过减少数据移动开销，为提高深度神经网络（DNN）推理的能效提供了一条有前景的途径[[1], [2], [3], [4]]。通过将计算与存储器并置，PIM系统旨在克服传统加速器的性能和能效限制，特别是对于以卷积和矩阵乘法为主导的工作负载[2,5,6]。然而，在基于动态随机存取存储器（DRAM）的PIM中，实际收益对执行时序极为敏感。即使计算被放置在存储器内部或附近，DRAM服务仍受存储体组织、行缓冲器和请求时序的约束[[7], [8], [9]]。这些限制通常被归因于DRAM组织或低效复用，但它们并不能仅通过配置或数据放置来解决。在实际的DRAM-PIM平台中，存储器架构、节点分配和张量放置主要由系统和早期映射阶段决定。在编译时，主要可控变量是逐层的图块划分、张量维度上的循环顺序以及在映射策略下产生的DRAM访问流。本研究考虑的是NICE-PIM风格的逻辑覆盖存储器（logic-over-memory）三维堆叠数字DRAM-PIM基底，在架构层面代表了基于混合键合的集成，其中节点分配和张量放置由上游映射阶段固定。一旦这些决定固定，层执行仍由图块几何形状、循环遍历和支持的DRAM映射策略支配。一个方案可以满足复用和SRAM容量要求，同时生成反复替换已打开行的时序行序列。因此，我们将行缓冲器稳定性作为关于t、π和m的显式编译时准入条件，并在进行详细时序验证之前拒绝违反Φ(t,π,m) ≤ τ的候选方案。这种筛选操作在残余的节点内执行空间内运行，并且保持架构、节点分配、张量放置和DNN计算不变。此处报告的量化收益特定于评估平台，当存储器组织、控制器行为或执行模型发生变化时应重新验证。更广泛地说，近期的存储器系统研究表明，DNN效率不仅取决于将计算放置在存储器附近，还取决于如何在混合或热受限的存储器结构中调度和协调存储器请求[[10], [11], [12], [13]]。近期综述进一步表明，PIM设计空间在存储器技术和集成方式方面广泛且异构，这使得区分通用PIM动机与DRAM实现的具体执行和存储器系统约束变得越来越重要[14]。

在层的粒度上，这种行为由图块几何形状、执行（循环）顺序和底层DRAM映射共同决定。图块划分将层分解为满足存储和计算约束的图块；生成的图块几何形状指定每维度的分块因子，并设定操作数占位和复用潜力。在本文中，SRAM可行的图块是指IFM、FIL和OFM/部分和占位都能放入其分配的本地SRAM缓冲器的图块。执行顺序随后决定了张量维度的遍历序列以及每个图块生成的地址的时序分组，而DRAM映射决定了这些地址如何布局在行和存储体上。因此，相同的SRAM可行图块可能根据遍历和映射表现出稳定的行缓冲器行为或严重的行缓冲器颠簸。现有的DRAM-PIM映射和设计空间探索框架，包括NICE-PIM [1]以及更广泛的加速器映射引擎如Timeloop [15]、MAESTRO [16]和MAERI [17]，关注于选择满足缓冲容量约束并改进复用、并行性和数据放置（例如，跨PIM节点的层分区、DRAM数据布局和分组、权重复制）的硬件参数和生成映射方案，而编译器工具链如TVM [18]和MLIR [19]提供了强大的调度抽象用于降级和优化。这些决定是必要的，但它们并不能保证SRAM可行的、复用高效的方案能很好地与具有存储体和行缓冲器的DRAM交互。特别是，现有方法没有将行缓冲器稳定性作为与遍历顺序和地址映射相关联的显式逐层可行性条件：在固定图块划分下，不同的循环遍历和地址映射可以导致截然不同的行缓冲器命中和缺失序列，在不利的情况下，频繁的行变更会降低有效带宽并将执行推入停顿主导的区域。图1(a)展示了一个复用和缓冲器可行但DRAM不稳定的执行结构，而图1(b)表明协调图块几何形状和执行顺序以保持行缓冲器局部性可以产生DRAM稳定的执行。这激励了我们的核心重构：DRAM访问稳定性应作为编译时准入约束来强制执行，而不是作为仅在映射后评估的涌现后果。

在典型的DRAM-PIM编译流程中，首先将一个网络跨节点分解（或由现有映射器分配），之后每个节点需要一个指定图块形状、遍历顺序和生成的地址流的逐层执行方案。在本文的评估中，我们关注固定硬件约束下的编译时执行重构。所提出的方法改变了图块几何形状、循环遍历顺序和支持的DRAM映射策略，同时保持底层硬件基底、节点分配、张量放置和DNN计算不变。由于该框架完全在调度和映射内运行，它在修改工作负载的算法语义或数值正确性的同时提高了执行效率。我们的工作针对这一层级执行规划步骤：我们保持底层硬件和节点分配不变，仅重构层级的图块划分和遍历调度，使得生成的DRAM访问流在行缓冲器服务下保持稳定（图2）。因此，DRAM-PIM上的高效DNN执行需要在执行结构化层面实现显式的DRAM访问感知，特别是对于那些行缓冲器不稳定性最为严重的能耗主导层[1]。我们提出了一种DRAM访问感知的执行重构框架，将图块几何形状、执行顺序和DRAM映射作为显式控制变量，剪枝违反Φ≤τ的执行方案，并使用周期级架构级模拟来验证存活的方案。在具有代表性的DNN和广泛的DRAM-PIM硬件配置中，该方法在保持与基线映射可比的全流程模拟周期数的同时提高了能效。对于代表性的匹配AlexNet conv1配置（第6.4节），在相同硬件下的重构将行缺失从11,948降至983，行冲突从52,956降至20,640，DRAM服务周期从50,393降至25,521；层延迟从125,982 ns降至63,803 ns，PIM-stat DRAM能耗从1.67×10^9 pJ降至1.32×10^9 pJ。

本研究的贡献有三方面。首先，我们表明在DRAM-PIM中，复用和SRAM可行的图块仍可能纯粹由于循环遍历顺序和DRAM地址映射之间的交互作用而在具有存储体和行缓冲器的DRAM上变为停顿主导的状态，即使图块几何形状固定。其次，我们通过定义确定性的不稳定性指标Φ和从DRAM行变更时序及峰值计算吞吐量派生的硬件耦合容差阈值τ，将行缓冲器稳定性重新表述为编译时准入约束；τ是平台固定的，可在不进行逐层剖析或工作负载特定拟合的情况下剪枝结构性不稳定的方案。第三，我们开发了一种DRAM访问感知的重构流程，将此筛选应用于通过重新排序遍历、在支持时可选选择存储体交错映射以及仅在需要满足SRAM限制和Φ≤τ边界时调整图块几何形状来修复不稳定的方案，然后使用周期级架构级模拟在具有代表性的DNN和广泛的DRAM-PIM配置中进行验证。总体而言，该方法联合优化(t, π, m)，将循环顺序作为一等变量，在可用时利用映射选择，并选择性而非默认地修改几何形状。

相关的编译器和映射器工作如PIMCOMP [20]和DDAM [21]进一步证明了端到端映射和数据分布优化对PIM执行的重要性。在更广泛的加速器上下文中，Eyeriss和Eyeriss v2 [22,23]以及面向复用的设计如CREW及相关计算复用框架[24,25]同样表明执行效率强烈依赖于数据移动、复用、和调度如何在存储器层次结构中编排。

在评估层面，如Sim2PIM [26]和PIMCA [27]的全栈模拟环境和可编程加速器研究也强调了当架构选择和映射行为交互时需要系统评估。

章节片段

**基于DRAM的存内处理架构**
基于DRAM的存内处理（PIM）将计算集成在存储器体内部或附近，以减少DRAM和外部处理器之间的数据移动[[1], [2], [3], [4]]。典型系统将DRAM阵列与轻量级计算逻辑、用于中间数据的片上SRAM缓冲器和有限的片上互连支持配对[1,3,4,28]。近期的PIM方向还包括HBM集成的PIM和应用专用PIM加速器，例如PIM-HBM信号完整性/性能研究[29]以及

**问题定义**
在DRAM-PIM系统上高效执行DNN需要以与计算需求相匹配的方式构建DRAM访问行为的计算结构。当执行结构没有考虑DRAM访问行为进行设计时，即使在其他方面可行的映射下，低效性仍可能出现。我们通过三个从执行结构与DRAM访问行为交互中产生的相互关联的问题来形式化这一挑战。概念上，联合执行结构

**方法论：DRAM访问感知的执行重构**
为解决第3节确定的可行性挑战，我们提出了一种面向DRAM-PIM系统上DNN推理的DRAM访问感知执行重构框架。编译时搜索是确定性的。我们枚举SRAM可行的图块因子、规范的执行顺序和支持的DRAM映射策略来构建候选执行结构，而不是依赖强化学习或工作负载拟合的策略模型。目标是识别执行结构

**评估框架与实施环境**
所有实验都在周期级架构级的DRAM-PIM评估环境中进行，与NICE-PIM中使用的一致，确保在相同的架构假设和模拟保真度下进行直接比较。所提出的执行重构框架作为一个独立的软件层实现，在相同的DRAM-PIM基底上操作而不修改底层硬件模型。使用的关键硬件、互连和模拟参数

**结果：逐层结果及其图块级与模块级含义**
本节通过以层为中心的分析来评估DRAM访问感知执行重构的影响，该分析由图块级行为和模块级能耗含义支持。我们不仅依赖于聚合的网络指标，而是追踪执行重构如何改变单个层内的图块行为，以及这些效应如何传播到能耗主导层和系统级能耗分布。所有结果均通过周期级架构级的DRAM-PIM模拟获得

**讨论**
结果表明，DRAM-PIM执行中的低效性并非主要由原始访问量解释，而是由执行是否在具有存储体服务的情况下产生稳定的行缓冲器局部性来解释。这是一种时序效应：行缓冲器奖励时间上的访问连续性，并且相同的SRAM可行图块在不同循环遍历和DRAM映射策略下可能表现出非常不同的行为。相应地，许多观察到的收益是在图块大小变化不大的情况下产生的，取而代之的是

**结论**
所提出的方法表明，DRAM-PIM执行方案可以满足复用和SRAM约束，但仍可能在遍历顺序和地址映射破坏行缓冲器局部性时变为停顿主导的状态。为防止这种故障模式在映射时出现，我们引入确定性的不稳定性指标Φ和硬件耦合容差τ，并使用约束Φ(t,π,m)≤τ在通过最小化序列化部分时间来选择最终配置之前筛选候选(t,π,m)配置。

**生成式AI与AI辅助技术的声明**
在准备本文期间，使用了AI工具进行语言润色和清晰度改进。

所有技术内容、分析和结论均由作者独立撰写并验证，作者对已发表的工作承担全部责任。未引用的参考文献[[48], [49], [50], [51], [52], [53], [54], [55], [56], [57], [58], [59]]CRediT作者贡献声明Syeda Munazza Marium：写作 – 审阅与编辑，写作 – 起草初稿，可视化，验证，软件，方法论，调查，形式分析，数据整理，概念构思。Mengyuan Liu：写作 – 审阅与编辑，形式分析。Song Chen：指导，资源，项目管理，资金获取，形式分析。Syeda Munazza Marium|Mengyuan Liu|Song Chen