基于大型语言模型的元启发式算法实现与性能可重复性评估

《Mathematics》：Large-Scale Comparison of Metaheuristic Algorithms via Behavioral Verification of Large Language Model-Generated Codes

　　

摘要

元启发式算法的性能和可重复性尚未得到解决，因为先前的研究只考察了有限的子集，大多数算法仅以数学描述的形式发布而没有源代码。使用大型语言模型（LLM）实现了393种已发表的元启发式算法。通过在三组随机种子上运行两个优化问题来验证LLM生成的代码，同时用自动化脚本检查程序崩溃和改进情况。这些报告作为修复反馈返回给LLM。初稿通过率为53.4%，经过八轮反馈后提升至78.4%，而32个算法在所有三次重复中均失败，其中24个具有相同的失败特征。评估了使用LLM审查LLM生成代码的常见做法：两个独立LLM审查者中至少有一个批准了92.3%的有缺陷代码，这表明文本审查无法提供关于执行层面有效性的信息。将五十个经过验证的代码与来自成熟库的参考代码进行比较：49个在双向均存在显著差异，只有描述最完整的算法未检测到差异。将360个经过验证的代码在国会议进化计算大会（CEC）2017和CEC 2022基准测试上进行了51次带种子运行比较。差分进化实现位居CEC 2017第二和CEC 2022第一，优于对数百个近期基于隐喻的算法的评估实现。