综述：无导数优化：算法格局、理论保证、应用与挑战的统一综述

《Nexus》：Derivative-Free Optimization: An Optimization Engine for Frontier Artificial Intelligence and Engineering Systems

　　

亮点

•

无导数优化根据函数评估如何引导搜索进行分类

•

问题结构塑造了无导数方法的适用性和选择

•

应用涵盖人工智能、可持续能源和神经工程

•

讨论了关键部署挑战以勾勒未来研究方向

摘要

无导数优化（DFO）已成为解决那些目标和约束只能通过函数评估而非高效解析模型或梯度来获取的问题的重要优化引擎。最近的进展，包括基于梯度估计的零阶优化和用于昂贵黑箱问题的贝叶斯优化，已拓宽了其适用范围，但相关文献仍然零散，对方法选择提供的指导有限。本综述通过将DFO方法组织为无梯度探索和零阶优化，对算法格局进行了统一综合。我们介绍了DFO中具有代表性的算法方案，总结了它们的主要理论保证，并阐明了它们在关键方面的权衡取舍。我们进一步综合了三个代表性领域的新兴应用，即人工智能（AI）、可持续能源和神经工程，以强调DFO何时以及为何适用。最后，我们分析了影响DFO实际部署的四个跨领域挑战，包括计算效率低下、噪声函数评估、约束处理和离散变量。本综述旨在为新兴的AI和工程应用提供DFO方法的概念图谱以及方法选择的实践指导。