《Mathematics》：Turtles All the Way Down: Parameter Sensitivity in Metaheuristic Hyperparameter Optimisation for Machine Learning Models
编辑推荐：
摘要专业翻译
元启发式算法（Metaheuristic algorithms），特别是粒子群优化（particle swarm optimisation, PSO）和差分进化（differential evolution, DE），被广泛用于机器学习模型的超参
摘要专业翻译
元启发式算法（Metaheuristic algorithms），特别是粒子群优化（particle swarm optimisation, PSO）和差分进化（differential evolution, DE），被广泛用于机器学习模型的超参数优化，然而元启发式算法自身又对其控制参数（control parameters）高度敏感。这种递归依赖（recursive dependency）在多大程度上影响超参数优化的实际结果，此前尚未得到证实。本研究在十个数据集和四种机器学习模型上，对四种元启发式算法（包括自适应变体——自适应差分进化（self-adaptive differential evolution, jDE）和自适应粒子群优化（self-adaptive particle swarm optimisation, SAPSO）），以及四种现代自适应方法和三种无参数基线方法进行了系统评估。结果表明，元参数（meta-parameter）选择可导致精度变化高达3.49%。无论是经典的自适应变体还是现代方法，均未降低这种敏感性。没有任何基于群体的元启发式算法显著优于配置得当的网格搜索（grid search），且网格搜索以约一个数量级更少的函数评估次数（function evaluations）取得了接近最优的平均排名。元启发式算法是交叉验证目标（cross-validation objective）上更强的优化器，但额外增益并未迁移到测试数据上，该模式与过搜索（oversearching）现象一致。因此，对于具有低维超参数空间的小型表格分类任务，更简单的方法更为可取。
论文解读
一、研究背景与问题提出
机器学习模型的性能高度依赖于超参数的选择，这使得超参数优化成为机器学习流程中的关键环节。网格搜索和随机搜索因简单性而广受欢迎，而元启发式算法，特别是粒子群优化和差分进化，凭借其群体搜索机制被认为能够更高效地探索复杂搜索空间，因而在超参数调优领域获得了广泛关注。
然而，元启发式算法本身也受控于敏感的控制参数。PSO需要设置惯性权重和加速系数，DE需要设置变异因子和交叉率。元启发式算法对控制参数值的敏感性在文献中已有充分记载。自动化算法配置领域已发展出SMAC和irace等原则性工具来应对参数敏感性问题，但在超参数优化文献中，参数敏感性通常被忽视，大多数研究直接采用默认参数或文献推荐参数，未考察其对调优结果的潜在影响。
这种递归依赖形成了一个无限回归：用于消除调参决策的工具本身又需要调参决策。已有研究证实了参数敏感性的存在，但元参数选择究竟在多大程度上影响元启发式算法最终产出的机器学习模型，仍是一个悬而未决的问题。自适应元启发式算法在优化过程中动态调整控制参数，被视为解决参数敏感性的潜在方案，但其在超参数优化情境下能否真正消除初始参数选择的敏感性，此前尚未得到直接验证。
二、研究内容与核心结论
本研究围绕上述问题开展了系统性的实证研究，主要贡献包括四个方面：第一，对超过65000次实验进行元参数敏感性的系统评估，覆盖十个数据集、四种机器学习模型，每种优化器采样30个拉丁超立方采样配置，涵盖固定参数、自适应和现代成功历史自适应变体；第二，实证表明自适应变体jDE和SAPSO以及现代方法并未比固定参数版本DE和PSO更有效地降低元参数敏感性；第三，对群体智能、差分进化、进化策略和基于模型四类范式中的11种优化方法进行了透明比较，没有任何元启发式算法显著优于配置得当的网格搜索，而网格搜索以约一个数量级更少的函数评估次数取得接近最优的平均排名；第四，识别出潜在机制——元启发式算法在交叉验证目标上得分更高，但过拟合了含噪的验证估计，额外搜索并未提升测试集精度。
三、关键技术方法
研究人员采用了以下主要技术方法：其一，四种核心元启发式算法，包括固定参数的PSO和DE，以及自适应变体jDE和SAPSO，其中SAPSO为研究人员自行构建的简化代表变体，基于个体搜索成功与否进行局部随机参数调整；其二，四种现代自适应方法，包括JADE、SHADE、L-SHADE和CMA-ES；其三，三种基线方法，包括网格搜索、随机搜索和基于树结构的Parzen估计器（TPE）；其四，实验数据来自UCI存储库的十个分类数据集，样本量从208到4839不等，特征维度从4到60，类别数从2到6；其五，采用分层80/20训练-测试划分，训练集上使用三折交叉验证评估适应度，每折种子确定性设置为1000加试验编号以确保可重复性。
四、研究结果
4.1 第一部分：元参数敏感性分析
在全部160个问题实例中，元参数选择导致的精度差异最高达3.49%，最严重的情况为PSO在Glass数据集上优化随机森林。76个实例（占47.5%）的精度范围超过1%。
4.1.1 按优化器划分的敏感性
PSO的平均敏感性最高，为1.33%；jDE最低，为0.80%。PSO降至SAPSO仅减少0.06个百分点，DE降至jDE仅减少0.04个百分点，在线自适应并未实质性地降低元参数敏感性。现代方法中，JADE、SHADE和L-SHADE的敏感性与传统自适应变体相当，而CMA-ES是所有方法中敏感性最高的，平均范围达1.90%，最大达16.56%，主要受初始步长驱动。
4.1.2 按数据集和模型划分的敏感性
Sonar、Heart和Glass数据集的敏感性最高，在1.63%至1.73%之间；Blood和Wilt数据集的敏感性最低，低于0.65%。随机森林（1.44%）和决策树（1.17%）是敏感性最高的模型，KNN几乎不受影响（0.48%），SVM呈中等敏感性（1.14%）。
4.2 第二部分：方法比较
11种方法的平均测试精度紧密聚集，跨度仅0.29个百分点。网格搜索取得接近最优的平均排名5.11，仅次于SAPSO的5.06，且以少一个数量级的函数评估次数实现。Friedman检验不显著，Nemenyi事后检验未发现任何元启发式算法显著优于网格搜索，所有Vargha–Delaney效应量均可忽略。网格搜索在40个数据集-模型组合中取得12次最优，为所有方法中最多。
4.2.1 过搜索与泛化差距
群体元启发式算法是交叉验证目标的更强优化器，DE、jDE和L-SHADE的平均交叉验证分数约为0.8236，而网格搜索为0.8157。但额外优化未迁移到测试集，所有交叉验证分数最高的方法均呈现正泛化差距，网格搜索、TPE和CMA-ES则呈现明显负差距。元启发式算法评估多达1530个配置，对抗含噪的三折交叉验证估计，所选配置与部分拟合验证折噪声一致，即过搜索效应。
4.2.2 各数据集结果
各数据集-模型组合的结果显示没有一致的获胜者，不同方法在不同问题上获胜，最优方法随数据集和模型的变化不可预测。
五、讨论与结论
讨论部分指出，元参数选择导致的精度变化最高达3.49%，但所有方法均处于0.29个百分点范围内，说明参数敏感性存在于算法相对简单替代方案无实际优势的区间内。自适应变体仍表现出与固定参数版本相当的敏感性，因为超参数优化的目标景观是随机、含噪且通常低维的，适应信号过于含噪而难以发挥作用。树模型比KNN敏感性更高，说明元参数敏感性在超参数选择最关键的场景中最为突出。计算效率方面，网格搜索仅需10至125次评估，而群体元启发式算法约需1530次，额外成本未带来可检测的收益。过搜索机制解释了额外搜索预算未改善泛化性能的现象。
研究结论表明：元参数选择对元启发式超参数优化结果有实质性影响，精度差异最高达3.49%；没有任何群体元启发式算法能显著优于网格搜索，包括现代L-SHADE和CMA-ES；自适应方法jDE、SAPSO和L-SHADE未能消除元参数敏感性；元启发式算法在交叉验证目标上优化更强但未转化为测试集性能提升，与过搜索一致；对于小型表格分类和低维超参数空间，群体元启发式算法的额外复杂性和计算成本相较于网格搜索、随机搜索或TPE等更简单的替代方案并不合理。未来研究应扩展至更大规模和更高维的数据集，包括深度神经网络超参数空间，并采用嵌套交叉验证精确量化过搜索效应，同时与SMAC和irace等专用算法配置方法进行比较。
