使用双层数据驱动优化方法对非线性机器学习模型进行超参数优化

《Computers & Chemical Engineering》：Hyperparameter optimization of non-linear machine learning models using bi-level data-driven optimization

　　阿米尔·沙赫巴齐（Amir Shahbazi）、哈桑·尼卡（Hasan Nikkhah）、扎希尔·阿加耶夫（Zahir Aghayev）、布尔库·贝卡尔（Burcu Beykal）

摘要：本研究提出了一种系统化的决策方法，用于调整在使用交叉验证技术进行学习的机器学习（ML）模型的超参数。它提供了一种比传统超参数优化方法（如网格搜索、随机搜索和贝叶斯优化）更高效、更精确的替代方案，并证明了双层数据驱动优化在训练过程中使用非线性损失函数时能够显著提升这一任务的效果。超参数是外部可调参数，用于配置和控制ML模型的学习过程，无法直接从训练数据中估计得出。它们的调整在构建准确且泛化的ML模型中起着关键作用。然而，这一过程通常被视为试错搜索，通过训练和验证来评估大量的超参数组合，最终选择性能最佳的组合。另一种方法是将超参数调整视为一个双层优化问题，这明确地捕捉了超参数选择与模型评估之间的相互依赖性。这种表述方式使得优化策略更加结构化，但也引入了重大的算法和计算挑战。为了解决这些问题，我们采用了数据驱动的双层混合整数非线性问题（DOMINO）框架，将交叉验证的超参数优化问题的双层表述近似为一个单层问题。这种转换使得可以使用数据驱动的方法更有效地解决原本难以处理的双层问题，同时仍然能够捕捉超参数选择与模型性能之间的未知交互作用。我们在六个回归和分类任务的超参数调整问题上评估了17种不同的数据驱动优化算法，包括启发式与确定性方法、局部与全局方法以及基于样本的方法与基于模型的方法。我们的结果显示，数据驱动的双层方法在预测准确性上优于传统的调整算法，并且生成的ML模型在所有案例研究中都表现出出色的泛化能力。我们还观察到，集成到DOMINO中的局部优化算法在调整单个超参数的模型时计算效率更高，而全局算法在处理涉及多个超参数或非线性特征的模型时更为有效。

引言：在各个科学和工程领域中，有大量的研究使用机器学习（ML）模型来表示物理系统，无论是用于回归还是分类场景。支持向量机（SVMs）、人工神经网络（ANNs）和随机森林（RFs）是最流行的建模方法之一，自2015年以来使用这些方法的科学出版物数量每年增加了约41%（Web of Science, 2024）。它们日益流行的一个关键因素是它们的灵活性，这些模型可以根据每个用例的具体需求进行适应和定制。这种灵活性体现在称为超参数的可调参数上，这些参数控制着模型的学习过程。与从训练数据中估计出的参数不同，超参数是外部配置的，在模型训练期间无法更新，也没有解析公式来计算最佳值（Kuhn和Johnson, 2013）。例如，它们可以参与构建模型结构，如RF算法中的决策树数量、ANNs中的隐藏层数量，或者用于缓解过拟合问题，如最小绝对收缩选择算子（LASSO）或岭回归模型中的正则化系数，以及SVM分类器中的成本值（Yu和Zhu, 2020）。然而，ML模型的应用日益广泛和复杂性要求对模型进行准确且高效的配置，以呈现最精确的结果。ML模型的性能可能会因为超参数的选择而出现过拟合或欠拟合的情况，最佳模型位于这两个极端之间（Dobbelaere等人, 2021）。超参数选择对模型性能的影响可能非常显著，预测准确性根据所选超参数值的不同可以从低至1%变化到高达95%（Luo, 2016）。因此，找到能够保证最佳模型性能的超参数组合非常重要（Claesen和De Moor, 2015, Tso等人, 2020）。然而，超参数优化仍然是一项费时且需要大量工作的任务。许多研究要么不报告任何超参数调整（Liu等人, 2023, Gao等人, 2018, Guo等人, 2019），要么使用默认设置（Griego等人, 2020, Wan等人, 2021），或者选择暴力搜索或随机搜索类型的调整策略。

基于经验的（启发式）调整是最早用于ML模型超参数选择的实践之一。在这种技术中，研究人员依靠先验知识或直觉来识别能够产生高精度ML模型的良好超参数（Yu和Zhu, 2020）。这是最快的超参数优化方法之一，但它需要对研究的数据集有特定的专业知识和了解，最终降低了基于ML的研究的可重复性和公平可比性（Bergstra和Bengio, 2012, Feurer和Hutter, 2019）。对于某些模型，手动调整超参数是可能的，因为研究人员可以从之前的工作中借鉴知识；然而，这种策略通常只能得到次优结果（Yang和Shami, 2020）。此外，即使对于该领域的训练有素的专业人员来说，探索和实现一个适合解决特定问题的模型仍然是一项具有挑战性的任务。对于经验较少的用户来说，迫切需要能够高效自动探索超参数空间的现成超参数优化工具（Yu和Zhu, 2020）。

最常见的识别最佳超参数组合的方法是使用暴力搜索方法（即网格搜索），其中超参数空间被离散化（Bischl等人, 2023），并且根据特定标准（例如验证误差）在每个离散化点上详尽计算模型性能。其易于实现和能够利用并行计算的能力是这种算法广泛使用的主要原因（Yang和Shami, 2020）。在网格搜索中，通过定义一个包含所有可能值组合的矩形网格（即笛卡尔积）来探索离散化的超参数空间。然而，这种方法会受到维度灾难的影响，因为候选超参数组合的数量随着超参数空间的维度的增加而呈指数级增长。如果使用重复的验证技术（如k折交叉验证（CV）进行训练，这个数字还会进一步激增。尽管许多研究都采用了这种方法（Hu和Wu, 2023, Santander等人, 2023, Richard等人, 2023, Jaganathan等人, 2022, Feng等人, 2024, Onel等人, 2019），但实际应用中显示网格搜索的效果并不好（Bergstra和Bengio, 2012）。这种基于离散化的超参数搜索方法只能测试有限数量的超参数组合来识别最佳的验证性能。随着网格分辨率的提高（即减小网格间距），虽然会得到更精确的超参数集，但计算时间也会大幅增加。特别是对于大型数据集和复杂的ML流程，函数评估的计算成本非常高。另一方面，如果增加网格间距（即减少步骤数量），可能会导致忽略产生最佳模型的确切超参数集，如图1所示（Del Buono等人, 2023, Anguita等人, 2012）。

另一种方法是随机搜索，它不假设搜索空间的结构，随机采样超参数。虽然随机搜索的计算需求较低，但它不能保证找到最佳的超参数组合。对于较小的数据集，它更有效，但对于较大的数据集则不可靠（Bergstra等人, 2011）。对于随机搜索和网格搜索方法，领域专家必须确定与应用领域相关的搜索空间。即便如此，使用这些方法获得的解决方案在许多情况下也是次优的，因为无法穷尽无限数量的超参数组合（Yu和Zhu, 2020）。此外，网格搜索和随机搜索分别独立处理每个超参数，没有考虑超参数之间的相关性。因此，对于具有条件超参数的ML算法（如基于密度的带噪声空间聚类（DBSCAN）（Won等人, 2025）来说，这些方法效率低下。由于这些缺点，研究人员寻求系统化的决策技术，包括贝叶斯（Wu等人, 2019）、参数化（Tso等人, 2020）、多保真度（Yang和Shami, 2020）、黑盒（Such等人, 2017, Bajaj等人, 2021）和元启发式优化算法（Gogna和Tayal, 2013, Li和Zhang, 2020）来进行超参数选择。许多这些技术也实现了为现成软件，包括BoTorch（Balandat等人, 2020）、TPOT（Le等人, 2020）、Optuna（Akiba等人, 2019）、Hyperopt（Bergstra等人, 2013）、SHERPA（Hertel等人, 2020）和HyperNOMAD（Lakhmiri等人, 2021）。

基于替代模型来近似超参数优化问题，贝叶斯优化试图预测未知超参数组合的性能。尽管贝叶斯技术在寻找接近最优的超参数方面很有前景，但它们在计算上代价高昂且在调整非线性ML模型时效果不佳（Alibrahim和Ludwig, 2021）。此外，这种方法的性能受维度的影响很大，成功的应用通常限于低维问题（Frazier, 2018, Moriconi等人, 2020, Eriksson和Jankowiak, 2021）。同样，其他方法如多保真度优化技术和元启发式算法也可以用于超参数优化。这些方法在补充材料的第S2节和S3节中有详细讨论。在多保真度优化技术中，性能和计算负担之间存在权衡（Won等人, 2025），这往往会导致性能指标的可靠性降低，同时需要较少的计算时间（Fernández-Godino, 2016）。另一方面，即使对于性能评估成本较低的简单ML模型，元启发式算法也可能非常耗时。

尽管有大量的超参数优化技术和软件，但这些方法并没有完全认识到代表超参数选择的相互关联的决策问题。ML模型需要经过训练、验证和性能测试。虽然测试是一个独立的步骤，但训练和验证通常通过k折CV结合起来进行。在这个过程中，训练误差指导给定超参数组合的最佳模型参数的估计，而验证标准（如均方误差、赤池信息准则、贝叶斯信息准则等）则指导训练出的ML模型的超参数选择。因此，超参数调整被视为一个顺序决策任务，首先确定超参数，然后从数据中估计模型参数，正如上述所有方法中所做的那样。这个过程会重复多次，以测试多个超参数值，并选择产生最佳验证标准的那个。然而，CV过程中训练和模型验证步骤之间的自然联系可以作为一个双层编程问题来整体捕捉，从而数学上保证最佳超参数的选择。例如，Tso等人（2020）表明，交叉验证的超参数优化问题可以表述为一个双层程序，并且可以使用参数优化方法来解决凸训练公式（如线性回归和SVM分类器）的超参数的确切解。然而，由于参数化理论的局限性，无法处理具有非凸参数估计目标函数的ML模型（如均方对数误差）。此外，k折CV的多跟随者特性在高维和大型训练问题中还会带来其他算法挑战（Avraamidou和Pistikopoulos, 2019）。

受此启发，我们使用双层编程同时制定监督学习问题的训练和验证步骤，并利用数据驱动优化算法来克服解决整体模型时的数学挑战，同时识别出提供最大验证准确性的最佳超参数集。我们提出了一种策略，无论ML模型的性质（线性与非线性）以及训练中使用的目标函数类型（凸函数与非凸函数）如何，都能缓解超参数调整问题。我们在多个化学和生物分子工程相关的ML训练问题上测试了我们的方法，结果表明，与网格搜索、随机搜索和贝叶斯优化相比，我们的双层优化方法能够识别出更优的超参数设置。我们进一步研究了选择不同的数据驱动求解器对算法性能的影响，在本研究中测试了17种以上的求解器。本节摘录了将交叉验证的超参数优化问题表述为双层规划的方法。在构建机器学习模型的实际操作中，我们有两个不同的目标需要优化，以找到能够产生最佳预测性能的超参数集。第一个目标是在固定超参数?的情况下最小化训练误差，例如在方程（1）中表示的具有q-范数正则化的通用最小二乘回归任务，其中w是从训练数据中估计出的模型参数（即训练的决策变量）。

计算研究和结果：本研究中所有数据驱动算法的超参数优化都是在10次独立运行中完成的。每次运行的起始值都是在每个超参数的指定范围内随机选取的（超参数范围见补充材料中的表S3）。所有案例研究都在康涅狄格大学的高性能计算（HPC）集群上执行，该集群使用AMD EPYC节点，并运行Red Hat Enterprise Linux 8.9（Ootpa）操作系统。机器学习模型的开发...

讨论：本节探讨了影响在DOMINO框架内选择合适的数据驱动优化算法的因素。这些因素可以分为两类：机器学习模型的复杂性和超参数空间的维度。对于调整非线性机器学习模型而言，需要调整的超参数数量在选择数据驱动算法时起着重要作用。全局优化方法，如PSO和DIRECT...

结论：本文提出了一种数据驱动的双层方法来优化机器学习模型中的超参数，将训练-验证过程表述为一个双层规划问题，DOMINO框架通过使用数据驱动算法将其近似为一个单层优化问题来求解。我们通过在六个具有不同学习任务、维度和数据集大小的机器学习模型上测试调整后模型的预测性能来评估这种方法的性能。

符号说明：
α：损失函数中l1范数的贡献比例
γ：RBF核中的超参数
λ：正则化系数
σ：拉格朗日乘数
?：机器学习模型的超参数向量
??：机器学习模型的最优超参数向量
τi：参与者的反应时间
Ψ：给定的机器学习模型
Ψ?：机器学习模型预测的输出
Ψw：从数据中估计出的机器学习参数
w?：最优模型的机器学习参数
C：SVM模型中的正则化参数
DCRedI：作者贡献声明

Amir Shahbazi：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论，调查，形式分析，数据整理。
Hasan Nikkhah：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，数据整理。
Zahir Aghayev：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，概念化。
Burcu Beykal：撰写 – 审稿与编辑，撰写 – 原稿，验证，监督，软件。

关于生成式AI和AI辅助技术在写作过程中的使用声明：在准备本工作时，作者使用了OpenAI的ChatGPT来提高论文的可读性和语言表达。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对本文的内容负全责。

利益冲突声明：作者声明他们没有已知的财务利益冲突或个人关系可能会影响本文报告的工作。

致谢：本项工作得到了ACS石油研究基金（博士新研究员资助PRF #66086-DNI9）、美国国立卫生研究院（P42 ES027704资助）以及康涅狄格大学副校长办公室研究卓越计划的支持。部分研究使用了康涅狄格大学Storrs高性能计算设施提供的先进计算资源。手稿内容仅属于作者本人。