基于大型语言模型（LLM）的启发式自动化设计中的超参数在线优化

《ACM Transactions on Evolutionary Learning and Optimization》：In-the-loop Hyper-Parameter Optimization for LLM-Based Automated Design of Heuristics

LLaMEA-HPO通过整合LLM与HPO流程，将超参数调优任务转移到HPO，减少LLM查询次数并降低计算成本，在多个基准问题上验证其高效性和优越性。

　　

摘要

大型语言模型（LLMs）在自动生成和优化（元）启发式算法方面展现了巨大潜力，使其成为启发式优化任务中的宝贵工具。然而，LLMs在微调生成算法的超参数时通常效率较低，往往需要大量查询，从而导致较高的计算和成本开销。本文提出了一种新颖的混合方法LLaMEA-HPO，该方法将开源的LLLaMEA（大型语言模型进化算法）框架与超参数优化（HPO）过程相结合。通过将超参数调优任务交给HPO程序处理，LLLaMEA-HPO框架使LLM能够专注于生成新的算法结构，从而减少所需的LLM查询次数，并提高优化过程的整体效率。

我们在包括在线装箱问题、黑盒优化问题和旅行商问题在内的基准问题上对所提出的混合框架进行了实证验证。结果表明，LLaMEA-HPO的性能优于或至少与现有的基于LLM的框架相当，同时显著降低了计算成本。这项工作强调了在基于LLM的代码优化中分离算法创新和结构代码搜索与参数调优的重要性，并提供了一种可扩展的方法来提高基于LLM的代码生成的效率和效果。