混合精度调优中的稳定性成本

《Proceedings of the ACM on Programming Languages》：Cost of Soundness in Mixed-Precision Tuning

本文首次全面评估了浮点混合精度调优工具，比较了静态分析与动态优化方法的性能、精度保证及优化潜力，实验表明动态工具在多数情况下更有效，但静态工具在小型直接程序中表现不差，同时验证了精度保证带来的优化时间成本。

　　

摘要

数值代码通常需要在资源有限的硬件上重复执行，这使得它成为优化的理想目标。提高性能（尤其是在运行时间方面）最有效的方法之一是降低计算的精度。然而，低精度可能会导致显著的舍入误差，从而可能影响结果的准确性。混合精度调优通过为程序中的一部分变量和算术运算分配最低可能的精度来平衡这一权衡，同时确保整体误差保持在可接受的范围内。最先进的工具使用可靠的静态分析或动态采样来验证优化程序的准确性。虽然可靠的方法通常被认为更安全但过于保守，而动态方法则更具进取性且可能更有效，但问题仍然存在：这些方法在实践中究竟如何比较？在本文中，我们首次对现有的浮点程序混合精度调优工具进行了全面评估，提供了可靠的静态方法和（不可靠的）动态方法之间的定量比较。我们衡量了性能提升、优化潜力以及准确性保障之间的权衡——我们将其称为“可靠性成本”。我们对标准FPBench基准测试套件的实验挑战了“动态优化器始终”生成更快程序的普遍观点。事实上，对于简单的直线型数值程序，我们发现带有规则推断功能的可靠工具能够与动态工具相媲美甚至超越它们，同时提供正式的正确性保障，尽管代价是优化时间会增加。然而，独立的可靠工具在精度约束严格时过于保守；而动态工具对不同目标始终有效，但其产生的误差可能超过允许的最大误差范围达9个数量级。