HIP-BO：用于高效混合变量超参数调优的分层先验贝叶斯优化

《Neurocomputing》：HIP-BO: Hierarchical-prior Bayesian optimization for efficient mixed-variable hyperparameter tuning

　　

摘要

超参数优化（HPO）和神经架构搜索（NAS）通常涉及包含连续变量和分类变量的混合变量搜索空间。近期基于多保真度高斯过程的贝叶斯优化方法通过引入分类变量的自适应嵌入以及利用学习曲线外推来提高效率，已取得进展。然而，在低预算设置下，当仅有少量目标任务观测时，任务特定的分类表示可能不稳定，学习曲线外推误差也可能影响保真度分配和代理更新决策。为解决这些问题，我们提出分层先验贝叶斯优化（HiP-BO），这是一种将任务级历史迁移与实例级学习曲线信息耦合于贝叶斯优化循环中的多保真度贝叶斯优化框架。在元层面，HiP-BO 通过聚合历史 HPO/NAS 任务的后验信息构建相关性加权的高斯过程先验，以在观测稀少时支持混合变量代理建模。在实例层面，该方法引入预训练的学习曲线预测器 LCPFN，从早期训练观测估计饱和水平性能，从而指导成本感知的保真度分配。在 NAS-Bench-201、FCNet 和 LCBench 基准上的实验表明，HiP-BO 相较于代表性 HPO/NAS 基线取得了具有竞争力或更优的任意时刻性能，同时在不同随机种子下保持了相对稳定的行为。这些结果表明，分层先验为低预算混合变量 HPO/NAS 提供了有用的指导，也可应用于连续 HPO 场景。

引言

自动化超参数优化（HPO）和神经架构搜索（NAS）对于构建高性能机器学习系统至关重要，然而随着模型和训练流程日趋复杂，人工调参变得越来越低效[1], [2], [3]。贝叶斯优化（BO），尤其是基于高斯过程（GP）代理模型的贝叶斯优化，因其样本效率和不确定性感知建模能力而被广泛用于 HPO/NAS[4]。然而，实际的 HPO/NAS 任务通常涉及包含连续超参数、离散参数和分类架构选择的混合变量搜索空间，这对标准高斯过程的假设构成了挑战。与此同时，对每个候选配置进行完整训练在计算上代价高昂。因此，低预算混合变量 HPO/NAS 需要一种统一策略，既能可靠地支持代理建模，又能实现成本感知的保真度分配。

近期的混合变量贝叶斯优化方法为处理分类和离散输入发展了多种策略，包括独热编码或多臂老虎机表示[5], [6]、专用核函数[7]、概率重参数化[8]、信赖域搜索[9]以及隐空间嵌入[10]。如 MCBO 等基准研究进一步展示了混合变量贝叶斯优化场景的多样性[11]。尽管这些方法在离散和混合搜索空间中改进了贝叶斯优化，但大多数方法主要从当前任务的观测中构建或适配分类表示。在仅有少量早期评估的低预算 HPO/NAS 中，此类任务特定的表示可能不稳定，导致采集决策不可靠。这促使我们利用相关历史任务的信息来指导观测稀少时的早期代理建模。

多保真度优化通过以不同的训练预算评估候选配置来降低 HPO/NAS 的成本。现有方法主要沿两个方向发展。一条路线通过逐次减半动态分配资源，代表性方法包括 HyperBand[12] 和 BOHB[13]。这些方法简单有效，但通常假设早期性能足以识别较差配置，而当学习曲线出现交叉或后期提升时，这一假设可能失效。另一条路线从部分学习曲线预测最终性能，包括 FastBO[14]、ALMBO[10] 以及近期基于 PFN 的外推方法[15], [16]。基于学习曲线的方法可以提高任意时刻效率，但早期学习曲线可能稀疏、噪声大或不规则，使外推误差难以避免。在贝叶斯优化循环中，此类误差可能被反馈为观测值以更新代理模型，并偏斜后续采集决策。因此，低预算 HPO/NAS 需要一种机制，既能利用早期训练动态，又能降低外推误差导致的不可靠代理更新风险。

元学习也已被探索用于通过迁移相关历史任务的知识来提高贝叶斯优化的数据效率。现有研究使用元特征、热启动配置或学习的搜索空间来初始化优化[17], [18]，并采用多任务高斯过程或可扩展的元高斯过程先验在任务间迁移信息[19], [20]。然而，大多数元学习贝叶斯优化方法主要关注初始化或代理构建，而保真度分配过程通常被单独处理。对于低预算混合变量 HPO/NAS，历史任务信息不仅要稳定早期代理建模，还应与决定候选配置如何训练的评估策略协同工作。这促使我们构建一个统一框架，在贝叶斯优化循环中耦合任务级迁移和实例级训练动态。

为应对上述挑战，我们提出分层先验贝叶斯优化（HiP-BO），一种面向低预算混合变量 HPO/NAS 的框架。HiP-BO 不将混合变量代理建模和保真度估计视为两个独立组件，而是将它们公式化为贝叶斯优化反馈循环中的两个耦合决策：评估哪个配置以及分配多少训练资源。在元层面，HiP-BO 通过聚合历史 HPO/NAS 任务的后验信息构建相关性加权的高斯过程先验，为观测稀少时的早期代理建模提供可迁移的指导。在实例层面，HiP-BO 将预训练的学习曲线先验[15]引入评估过程，从部分训练动态估计饱和水平性能，从而实现成本感知的保真度分配和高效的代理更新。通过这种分层先验设计，HiP-BO 旨在提升低预算混合变量 HPO/NAS 中的候选选择与评估效率。我们的主要贡献总结如下：

• 1.
  我们提出了一种面向低预算混合变量 HPO/NAS 的集成分层先验贝叶斯优化框架，在贝叶斯优化反馈循环中耦合任务级迁移和实例级学习动态，以联合支持候选选择和保真度分配。
• 2.
  我们开发了一种面向混合变量高斯过程代理建模的相关性加权元后验融合机制，将历史 HPO/NAS 任务中的可迁移知识注入当前代理模型，提升观测稀少时的早期建模稳定性。
• 3.
  我们将预训练的学习曲线预测器作为实例级先验集成到贝叶斯优化评估循环中，通过部分学习曲线观测和有限训练预算下的饱和水平性能估计，使其适应成本感知的保真度分配。

章节摘要

混合变量贝叶斯优化

传统基于高斯过程的贝叶斯优化通常在连续欧几里得输入空间上建模，而实际的 HPO 和 NAS 任务往往涉及连续、离散和分类变量。这种不匹配催生了基于显式编码、专用核函数、嵌入和采集优化策略的混合变量贝叶斯优化方法。

一种简单策略是显式编码分类变量。独热编码将每个分类选择映射为一个二进制向量，可以直接

预备知识

我们的方法运行在一个多保真度贝叶斯优化框架内，通过高斯过程代理模型处理混合连续和分类输入，并由学习曲线引导自适应保真度分配。在低预算 HPO/NAS 中，该框架需要从稀少的目标任务观测中获得可靠的混合变量代理建模，并从不完全的早期学习曲线中获得成本感知的保真度决策。为明确该框架的基本组件，我们首先回顾 ALMGP[10]

方法论

低预算混合变量多保真度 HPO/NAS 面临两个耦合的挑战。首先，稀少的目标任务观测使得学习稳定的分类表示以进行混合变量代理建模变得困难。其次，不完全的早期学习曲线可能导致不可靠的保真度决策。为应对这些挑战，我们提出分层先验贝叶斯优化（HiP-BO），在贝叶斯优化循环中引入分层先验公式化。元信息增强的高斯过程

实验

我们在七个广泛使用的超参数优化（HPO）和神经架构搜索（NAS）基准上评估 HiP-BO，包括来自 NAS-Bench-201[4] 的三个任务（CIFAR-10、CIFAR-100 和 ImageNet16-120）以及来自 FCNet 表格基准[39] 的四个任务（Protein Structure、Slice Localization、Naval Propulsion 和 Parkinsons Telemonitoring）。评估指标为 NAS-Bench-201 上的验证误差和 FCNet 基准上的验证损失，数值越低表示越好

结论

在本工作中，我们提出了 HiP-BO，一种面向低预算混合变量 HPO/NAS 的分层先验贝叶斯优化框架。HiP-BO 结合了增强元级先验信息的高斯过程代理模型和基于 LCPFN 的学习曲线外推组件，使其能够在同一优化循环中使用任务级历史信息和实例级训练动态。元级先验有助于在目标任务观测有限时稳定代理建模，而

作者贡献声明

Jiabao Cai：撰写——审稿与编辑，撰写——初稿，可视化，验证，软件，方法论，调查，构思。Enxi Xian：撰写——审稿与编辑，验证，调查，形式化分析。Hanyan Huang：撰写——审稿与编辑，撰写——初稿，指导，项目管理，经费获取，构思。

利益冲突声明

作者声明，不存在已知可能影响本文所报告工作的竞争性财务利益或个人关系。

致谢

本研究由中国国家自然科学基金[项目编号：12201656]、广州市科技计划项目[项目编号：2024A01J6330]以及信息系统工程重点实验室（CN）[项目编号：WD2C20245250401]资助。

Jiabao Cai 目前是中山大学系统科学与工程学院电子信息方向的研究生。其研究方向包括神经网络超参数调优、贝叶斯优化、神经架构搜索和自动化机器学习。目前专注于机器学习模型的高效优化方法。

Jiabao Cai|Enxi Xian|Hanyan Huang