深度学习运算符实现中浮点精度调优的研究

《ACM Transactions on Software Engineering and Methodology》：A Study of Floating-Point Precision Tuning in Deep Learning Operators Implementations

深度学习模型数值稳定性研究提出OpScanner工具分析框架精度调优问题，比较TensorFlow和PyTorch发现前者存在更多浮点误差，且调优不足导致训练权重偏差增大。

　　

摘要

深度学习（DL）已在众多领域发挥了重要作用，因此确保DL系统在训练和推理过程中的稳定性至关重要。DL模型的计算可以被视为一系列DL运算符的执行过程，这些运算符是执行核心数值计算的关键组件。因此，这些运算符的数值稳定性对这些系统的整体质量具有决定性影响。数值不稳定的运算符可能会导致模型性能下降，甚至引发干扰训练过程的数值异常。提高特定浮点计算精度的做法被广泛采用来提升数值稳定性。然而，确定内部计算所需的合适数据类型（即精度调优）仍然是一个重大挑战。

本文首次系统地研究了DL运算符实现中的精度调优问题。我们介绍了OpScanner，该工具能够提取对运算符数值稳定性至关重要的精度转换操作。利用捕获到的操作数据，我们对两个流行的DL框架进行了全面的分类和比较分析。我们的研究结果有助于开发者理解运算符中的精度调优机制，并实现新的运算符。基于比较分析的结果，我们对这两个框架中的一系列运算符进行了精度测试实验，以考察精度调优的效果。测试结果显示，由于缺乏精度调优，TensorFlow框架中的运算符产生的浮点错误明显多于PyTorch框架中的运算符。其中，某个运算符的数值问题已被TensorFlow社区确认存在。此外，我们的研究还探讨了精度调优对训练过程中权重更新的影响。我们发现，由于缺乏调优导致的较大误差会使得训练过程中的权重偏差更加显著。