基于有效性感知的多级自动调优技术，用于高效生成张量程序

《ACM Transactions on Embedded Computing Systems》：Validity-Aware Multi-Level Autotuning for Efficient Tensor Program Generation

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

深度学习模型的复杂性不断增加，这就需要在从通用CPU和GPU到特定领域加速器等多种计算平台上进行专门的硬件和软件优化。虽然基于机器学习的自动调优方法被视为减少人工工作的有效解决方案，但现有的基于模板和不依赖模板的方法往往因为需要对大量无效配置进行性能分析而导致调优时间过长，进而可能引发运行时错误。为了解决这一效率问题，我们提出了MOCHA，这是一种旨在提升稳健性和通用性的多级优化与硬件加速框架。MOCHA包含了两个关键理念：（1）一种有效性预测模型，可在耗时的硬件性能分析之前筛选掉无效配置；（2）一种先进的性能预测模型，它能利用编译过程中提取的隐藏特征。我们在两种不同的硬件平台上对MOCHA进行了测试：一款定制的VTA加速器以及NVIDIA T4 GPU。实验结果表明，在VTA上使用MOCHA所取得的性能提升效果，仅需相当于TVM类似方法所需样本量的12.3%，同时还能将自动调优过程中的无效配置比例平均降低66.4%。在NVIDIA T4 GPU上，MOCHA同样展现出出色的效率，仅需使用基准TVM自动调优器所需样本量的87.1%即可达到相同的性能水平，同时也将自动调优过程中的无效配置比例降低了62.2%。这些结果充分体现了MOCHA通过有效筛选无效配置并将搜索重点集中在高性能区域，从而提升不同硬件平台上自动调优效率与稳健性的潜力。

AI总结

AI生成的总结（实验性内容）

此总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、判断文章相关性，以及便于相关研究领域的读者理解本文内容。它的作用是补充作者提供的摘要，而作者提供的摘要依然是论文的核心总结。完整文章才是最具权威性的版本。点击此处了解更多。

请点击此处，对这篇总结的准确性、清晰度及实用性提出反馈。您的意见将有助于我们对总结进行改进并生成更优质的后续版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。