面向GPU可靠CNN推理的稀疏感知容错技术

《IEEE Transactions on Parallel and Distributed Systems》：Sparsity-Aware Fault Tolerance for Reliable CNN Inference on GPUs

　　

摘要：

随着卷积神经网络（CNNs）在关键任务和关键安全领域应用中的日益普及，确保模型推理过程中的容错能力已成为一项至关重要的需求。这些应用通常依赖图形处理单元（GPU）来提供快速高效推理所需的高计算吞吐量。然而，随着GPU将越来越多的处理元素（PE）集成到芯片上，并且制造工艺不断缩小，它们变得越来越容易受到硬件故障的影响，包括瞬态故障和永久故障。此外，GPU中大量的处理元素使得传统的基于冗余的容错技术变得不切实际，因为它们会带来巨大的面积和性能开销。本文提出了一种低成本容错方法，称为稀疏感知容错（SparseFT），以确保在GPU上可靠地进行CNN推理。SparseFT利用激活图和权重图中固有的稀疏性来检测和纠正处理元素中的错误，而无需额外的硬件冗余。在点积计算中，涉及零操作数的乘法是无效的，因为它们的结果为零，不会对最终点积值做出任何贡献。通过利用这一特性，SparseFT将有效计算（即涉及非零操作数的乘法）动态复制到最初分配给无效计算的PE上。然后，它比较重复计算的结果以检测错误。当检测到错误时，SparseFT将在无错误的PE上重新执行出错的计算以纠正故障。如果确定错误是由永久故障引起的，SparseFT将隔离有故障的PE以防止其在未来操作中被使用。本文还介绍了一种软硬件协同设计，其中结合了新颖的剪枝技术来增强SparseFT的错误检测覆盖率。实验结果表明，SparseFT实现了超过99%的错误……

显示更多

I. 引言

卷积神经网络（CNNs）的快速发展使其成为关键安全应用不可或缺的组成部分，例如自动驾驶汽车[1]、[2]，自主无人机[3]，以及工业机器人[4]、[5]。这些应用通常依赖图形处理单元（GPU）来执行CNN，因为GPU既具备通用功能又拥有高性能能力。除性能和通用性之外，关键安全应用还要求具有高度的错误容错能力。CNN推理过程中由于计算错误导致的故障可能会产生严重后果，例如生命损失或财产损失。遗憾的是，在GPU上确保错误容错能力颇具挑战性，因为冗余计算会带来显著的面积和功耗开销。本文旨在开发一种低成本的容错机制，以增强在GPU上运行的CNN推理应用的容错能力。