从业者选择不同超参数优化方法的动机

《ACM Transactions on Computer-Human Interaction》：Practitioner Motives to Use Different Hyperparameter Optimization Methods

程序化超参数优化方法虽样本效率高但实践中多采用低效的网格搜索，导致模型未充分优化。研究通过访谈和调查揭示影响方法选择的六项核心目标（如模型理解）和十四项情境因素（如计算资源），为开发用户中心、情境适应的AutoML工具提供理论依据。

　　

摘要

程序化超参数优化（HPO）方法，如贝叶斯优化和进化算法，以其在识别机器学习（ML）模型最佳配置方面的高效性而闻名。然而，实践者通常使用效率较低的方法，如网格搜索，这可能导致模型优化不足。这种差异表明，HPO方法的选择可能受到实践者特定动机的影响，而这些动机尚未得到充分理解，从而阻碍了以用户为中心的HPO工具的发展。为了揭示这些动机，我们对49位ML实践者进行了20次半结构化访谈和一项在线调查。我们发现了六个主要目标（例如，提高对ML模型的理解）以及十四个影响实践者选择HPO方法的情境因素（例如，可用的计算资源）。本研究为理解现实世界的HPO实践提供了概念基础，并为开发更加以用户为中心、适应具体情境的HPO工具（即自动化机器学习中的AutoML）提供了依据。