HC-GPUCB:具有紧密后悔保证的贝叶斯优化的混合浓度感知高斯过程置信上界

《IEEE Transactions on Artificial Intelligence》:HC-GPUCB: Hybrid Concentration-Aware Gaussian Process Upper Confidence Bound for Bayesian Optimization with Tight Regret Guarantees

【字体: 大 中 小 】 时间:2026年09月18日 来源:IEEE Transactions on Artificial Intelligence CS9.1

编辑推荐:

   **影响声明:** 基于高斯过程的贝叶斯优化已广泛应用于每次函数评估代价高昂的场景——包括学习系统的自动调参、化学领域的实验设计等... **摘要:** 基于高斯过程置信上界的贝叶斯优化(GP-UCB)具有强遗憾保证,但扩展性较差:在 T 次评估的预算下,第 t 轮的立方级

  **影响声明:** 基于高斯过程的贝叶斯优化已广泛应用于每次函数评估代价高昂的场景——包括学习系统的自动调参、化学领域的实验设计等...**摘要:** 基于高斯过程置信上界的贝叶斯优化(GP-UCB)具有强遗憾保证,但扩展性较差:在 T 次评估的预算下,第 t 轮的立方级 Cholesky 分解将总计算成本膨胀至 O(T?)。Iwazaki(NeurIPS 2025)近期的分析通过利用其查询自动向全局最大值点集中的特性,将 GP-UCB 的贝叶斯累积遗憾改进至 √T 量级(忽略对数因子)。我们将这种集中性从被动的分析工具提升为主动的设计原则:HC-GP-UCB 先在全局范围内运行标准 GP-UCB 进行约 √T 次迭代的预热,随后将搜索域和活跃数据集限制在预热后当前最优解周围的、可被证明正确的局部球体内。该球体的正确性源自 Iwazaki 的"次优性至邻域"引理(其引理 20),当以算法可获得的最优解重新中心化时成立;在此基础上,我们证明了遗憾率得以在同量级下保持,并得出了一个结构复杂性结果,揭示了局部化 GP 拟合的底层基础设施可被工程手段加速利用。我们用 Checkpoint GP-UCB 对 HC-GP-UCB 进行补充——这是一个即插即用的变体,采用对数间隔检查点的超参数重新拟合与增量后验条件化——并将二者整合为 HC-Checkpoint-GP-UCB。实验表明,在四个标准基准测试上(d ∈ {2, 3, 5, 6},T ≤ 3000),Checkpoint GP-UCB 在 T=500 时实现了 3.5–7.1 倍的墙钟时间加速,在受控的单函数实验中 T=1000 时加速比增至 16.3 倍;HC-GP-UCB 在较难的基准测试上与标准 GP-UCB 的遗憾表现持平(Hartmann-6 和 Ackley-5 上 Wilcoxon p≥0.77);HC-Checkpoint-GP-UCB 是唯一能在每个基准测试上扩展到 T=3000 的方法,其固定已知核函数的特化版本确保了这一性能。代码:https://github.com/baobingzhang/HC-GPUCB
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号