基于张量分解与RISC-V优化的深度神经网络全连接层压缩与加速设计空间探索方法研究

《ACM Transactions on Embedded Computing Systems》：Optimizing Tensor Train Decomposition in DNNs for RISC-V Architectures Using Design Space Exploration and Compiler Optimizations

本综述系统探讨了深度神经网络（DNN）中全连接层（FC）的低秩分解（LRF）与设计空间探索（DSE）方法，重点提出了一种结合张量列车分解（TTD）、RISC-V架构优化与编译器级策略的综合性解决方案。文章通过形状对齐、向量化约束与寄存器分块（RB）等技术，显著降低了参数数量与浮点运算量（FLOPs），并针对内存访问模式与并行计算效率进行了深度优化，为资源受限环境下的模型部署提供了创新性框架。

　　

引言与背景

深度神经网络（DNN）中的全连接层（FC）因其高参数密度与计算复杂度成为模型压缩与加速的关键目标。低秩分解（LRF）通过将权重矩阵分解为低维核心张量，显著减少参数与计算量，但传统方法在秩选择与硬件适配方面存在局限性。本文提出一种系统性设计空间探索（DSE）方法，结合张量列车分解（TTD）与RISC-V架构特性，实现FC层的高效压缩与推理优化。

张量分解与设计空间构建

TTD将权重矩阵W分解为一系列核心张量G^(k)，其形式为：

W = G⁽¹⁾ ° G⁽²⁾ ° ... ° G^(d)

其中每个核心张量的维度为r_t-1 × n_t × m_t × r_t。通过调整秩值r_t与分解维度d，可构建庞大的设计空间（DS）。例如，对于GPT-3 Davinci模型的FC层（12288×50257），初始解数量达10²⁹量级，需通过高效剪枝策略缩减。

设计空间剪枝策略

基于FLOPs与内存的剪枝：通过输入-输出形状对齐策略（即令n₁ ≤ n₂ ≤ ... ≤ n_d 且 m₁ ≥ m₂ ≥ ... ≥ m_d），优先选择计算效率最高的组合形状。实验表明，对齐形状的FLOPs比率始终为1（最优），内存比率接近1，有效降低了解空间数量。

基于推理效率的剪枝：引入向量化约束（要求秩值为向量长度vl的倍数）、FLOPs阈值过滤（剔除高于原始FC层的解）与可扩展性约束（剔除高配置长度且低并行效率的解），进一步压缩解空间。例如，对AlexNet FC层（4096×2048），解数量从10²⁰降至10³量级。

RISC-V定向编译器优化

针对RISC-V架构的向量扩展（V-extension）与缓存层次，提出多层次优化：

数组重排（Array Packing）：重构核心张量G的布局，使其内存访问连续化，提升缓存利用率。例如，将G从[r_t, n_t, m_t, r_t-1]重排为[r_t/vl, n_t, m_t, r_t-1, vl]，以适配向量加载指令。

向量化策略：优先对秩维度（r-loop）进行向量化，利用RISC-V的vlmul与vfredosum指令实现并行累加，避免水平加法开销。当最终层r_t=1时，转而向量化k-loop，但需承担冗余操作成本。

寄存器分块（Register Blocking）：通过循环展开与标量替换，减少加载/存储（L/S）指令数。例如，对m-loop与b-loop分别以因子2与3展开，将G的L/S指令数降低3倍。同时，通过硬件寄存器数量约束（可用寄存器≥输出寄存器+min(输入寄存器, G寄存器)+1）确保无寄存器溢出。

循环变换与并行化：结合循环置换（如{mt, bt, rt, nt}或{bt, mt, rt, nt}）、循环分块（L2缓存适配）与多线程分配，优化数据局部性与并行粒度。根据FLOPs阈值动态分配线程数（如FLOPs<2×10⁶时单线程，>8×10⁶时四线程）。

实验验证与性能分析

在SpacemiT K1 RISC-V芯片（8核，1.6GHz）上测试，针对CNN（如AlexNet、VGG）与LLM（如GPT系列）模型，所提方法显著降低FC层参数与FLOPs，同时通过编译器优化实现近线性加速比。例如，对齐形状策略使内存访问效率提升30%，向量化与寄存器分块减少L/S指令达40%，整体推理速度提升至基准的3.2倍。

结论与展望

本文系统性地解决了LRF-DSE中的组合爆炸问题，通过数学约束与硬件感知优化，实现了FC层的高效压缩与RISC-V平台部署。未来工作将扩展至卷积层与注意力机制，并探索自动化秩选择与动态精度调整的联合优化。