用于高效非结构化稀疏卷积神经网络推理的多维数据流优化

《Journal of Systems Architecture》：Multi-dimensional dataflow optimization for efficient unstructured sparse convolutional neural network inference

　　

摘要

非结构化稀疏性是高效卷积神经网络（CNN）推理的一项关键技术，然而其不规则的数据布局往往与现代硬件的并行模式不匹配，导致性能次优。现有方法通常依赖 Im2Col 变换和通用稀疏矩阵乘法（SpGEMM），这要么会引起严重的存储冗余，要么会带来高昂的运行时索引开销。为应对这些挑战，我们提出了 SparDR，一个以数据流为中心的稀疏卷积加速框架。与传统方法不同，SparDR 将复杂性从运行时转移到编译时。它引入了特征图数据流重建机制以最大化存储连续性，并采用预寻址稀疏卷积核表示以消除运行时索引解码开销。SparDR 基于 TVM 实现，支持跨平台自动调度。在四种硬件架构上的评测表明，与五种主流稀疏推理方案相比，SparDR 在推理延迟上取得了 1.1$\times$ 到 12$\times$ 的加速，并将内存占用平均降低了 20%。

引言

深度神经网络（DNN）复杂度的持续增长使得模型稀疏化成为高效推理的基石 [1]，在边缘设备 [2]、[3]、[4] 等资源受限环境以及实时系统 [5]、[6]、[7] 中尤为如此。在众多稀疏化技术中，非结构化剪枝因其能在几乎不损失精度的情况下实现极高压缩率（通常超过 90%）而脱颖而出，相比结构化方法具有更细粒度的优势 [8]。然而，一个显著的性能差距依然存在：尽管非结构化稀疏性大幅减少了参数量，但这种理论上的计算减少很少能在通用硬件上转化为成比例的延迟加速。一个关键的根本原因在于稀疏卷积中存在强烈的双向数据依赖：即使某个权重为零，相应的输入元素可能仍被同一感受野内的其他非零权重所需要。这种相互依赖使得在不损害正确性的情况下无法安全且直接地跳过零值。非结构化稀疏卷积固有的不规则访存模式与复杂数据依赖与现代 CPU 和 GPU 的并行执行模型从根本上不匹配，使得大量潜在的加速效果未被挖掘。

当前卷积推理的先进执行范式主要采用 Im2Col 变换 [9]，将卷积运算映射为通用矩阵乘法（GEMM）核函数。该方法在稠密计算场景中通过充分利用硬件计算吞吐量实现了高效性能。然而，在稀疏加速场景下，这一范式暴露出显著局限性：它通过将特征图几何化展开引发了严重的存储冗余，并破坏了高效数据复用所必需的固有空间局部性。一方面，推理过程中高度稀疏的权重与中等稀疏的激活之间的不对称性限制了跳过零值计算的有效性（图 1）；另一方面，动态索引解析和不规则访存模式引入的运行时开销往往抵消了计算复杂度降低带来的收益，最终阻碍了整体执行效率的进一步提升（图 2）。

此外，现有方法通常依赖于针对稀疏模式的显式拆分与重建机制。无论是专用稀疏加速库还是稀疏编译器框架，大多聚焦于识别并适配特定稀疏拓扑结构 [10]、[11]。这类方法存在明显局限性：一方面，它们对非零元素的空间分布做出了较强假设（例如块稀疏、行/列稀疏），导致通用性较差。例如，NVIDIA 的 Ampere [12] 与 Hopper [13] 架构引入了稀疏张量核 [11]，但要求权重遵循严格的 2:4 稀疏模式。另一方面，现有稀疏优化与硬件紧密耦合，高度依赖人工调优，无法高效处理不同硬件后端的通用非结构化稀疏性。

为弥补这一差距，我们提出了 SparDR，一个针对非结构化稀疏卷积推理的新型以数据流为中心的加速框架。SparDR 的核心思想是将稀疏处理的复杂性从运行时转移到编译时。通过解耦静态权重结构与动态激活流，它设计了用于冗余消除的特征图重排机制和可预寻址的稀疏卷积核表示，从而消除了推理期间动态索引与地址解析带来的开销。SparDR 集成于 TVM 编译器栈中，支持算子自动替换、稀疏感知调度以及跨平台硬件部署。实验评估表明，SparDR 在包括 x86 CPU、ARM 处理器和 NVIDIA GPU 在内的多种异构计算平台上实现了最高 12$\times$ 的延迟加速（平均为 1.5–5$\times$），同时将内存使用降低了 16%。这证明了所提方法在加速非结构化稀疏卷积推理方面的有效性和通用性。

综上，本文主要贡献如下：

• •
  一种新颖的以数据流为中心的方法论。 我们提出一种统一优化策略，将特征图数据流重建与编译时预寻址的权重表示相结合。该方法从根本上消除了运行时索引开销，并解决了非结构化稀疏卷积固有的数据依赖瓶颈。此外，我们将该优化策略扩展到多种数据布局格式，并系统地设计了相应的重排规则与通道映射机制。
• •
  编译器集成框架。 我们将 SparDR 设计并实现为 TVM 编译器 [14] 中一个完全自动化的 pass。通过引入预定义调度草图，我们克服了传统自动调优在稀疏场景中的局限，实现了跨硬件平台的自适应优化与部署。
• •
  全面的跨平台评估。 我们在多种硬件平台（Intel Xeon、ARM Cortex、NVIDIA GPU）上进行了大量实验。结果表明，SparDR 在大多数情况下优于高度优化的基线方案（如 cuSPARSE、PyTorch 和 SparTA），在推理延迟和内存效率方面均有所提升。

本工作的早期版本已在 DATE 2025 上公布 [15]。本文在该工作的基础上进行了扩展，新增了多维度算法设计、理论分析以及大量实验评估。

章节片段

卷积神经网络中的稀疏性

深度学习模型中的稀疏性是一个长期且被广泛研究的主题。除了模型在特定场景下的固有稀疏性之外，模型剪枝是引入稀疏性的另一主要手段。在剪枝技术中，结构化剪枝 [16]、[17] 通过移除不重要的网络组件（例如整个卷积核、特定通道或完整网络层）实现模型压缩。然而，为了避免明显的精度下降，结构化剪枝

SparDR 的设计

在本工作中，我们提出了 SparDR，一个旨在高效加速具有非结构化稀疏性的卷积神经网络推理的稀疏加速框架。与定制加速器不同，SparDR 采用硬件无关的数据流优化范式，有效克服了非结构化稀疏卷积固有的计算瓶颈。这一设计使其能够无缝集成到深度学习编译器框架中，便于跨平台部署。在本

通过 SparseTrans pass 集成到 TVM

SparDR 构建在深度学习编译器 TVM 之上。本节主要讨论其与现有 TVM 框架的集成问题，以实现多种前端模型格式的无缝输入。框架集成包含两个核心组成部分：稀疏算子的语义定义与自动计算图变换机制。

与第 3 节中提出的设计保持一致，我们定义了三个关键算子以实现 SparDR 的优化（上图

评估

本节我们系统评估 SparDR 在 TVM 框架支持的多种硬件平台上在内存占用与推理延迟方面的性能。通过在多种代表性工作负载场景下的对比实验，我们验证了所提方法在不同规模任务上的有效性与可扩展性。

相关工作

利用稀疏性降低卷积神经网络（CNN）推理的计算与内存开销是高效机器学习系统领域的核心研究方向。下文我们回顾代表性工作并将其与 SparDR 进行对比。

结论

本文提出了 SparDR，一种通过数据流重建来加速推理的稀疏卷积加速方法。我们通过对稀疏算子进行重新设计并兼容 TVM 自动调度，实现了多平台加速。我们在四个平台上通过多种成熟剪枝模型对 SparDR 进行了评估。SparDR 相比 TVM [14] 实现了最高 5.6$\times$ 的单层加速（ResNet-50 端到端在四个平台上取得 1.53$\times$ 到 2.44$\times$ 的加速；单层加速低于 1 的

CRediT 作者贡献声明

Wang Wei（王伟）： 撰写 – 审阅与编辑，撰写 – 初稿，软件，资源，方法学。Hongxu Jiang（姜洪旭）： 监督指导。Yongxiang Cao（曹永祥）： 可视化，验证。Runhua Zhang（张润华）： 监督指导。

利益冲突声明

作者声明不存在已知的可能对本论文所报告工作产生影响的经济利益冲突或个人关系。

Wei Wang（王伟） 分别于 2021 年和 2024 年获得吉林大学工学学士学位与北京航空航天大学工学硕士学位。目前他在北京航空航天大学计算机学院攻读博士学位。他的研究方向包括稀疏神经网络推理加速与轻量级网络架构设计。

Wang Wei（王伟）| Hongxu Jiang（姜洪旭）| Yongxiang Cao（曹永祥）| Runhua Zhang（张润华）