动态分层协作雪消融优化器用于全局与特征选择

《Knowledge-Based Systems》：Dynamic hierarchical cooperative Snow Ablation Optimizer for global and feature selection

　　

摘要
为解决雪消融优化器（SAO）算法在解决复杂多模态和复合结构问题时存在的收敛速度慢和易陷入局部最优等局限性，本文提出了一种与动态多层速度引导机制相结合的混合雪消融优化器（HGSAO），该机制整合了动态分层协同搜索机制和自适应局部增强策略。本工作的核心贡献在于通过三项渐进式创新对原有算法框架进行系统性解构和重组：首先，开发了一种基于个体性能指标和进化趋势的动态分层机制，将种群自适应划分为三个功能子群体（精英、潜力和普通），为后续差异化策略的实施奠定了结构性基础；其次，构建了一种融合历史信息与种群状态动态的混合速度和位置演化更新模型，使针对不同子群体的目标导向搜索操作能够有效协调全局探索与局部开发；最后，嵌入了一种具有迭代进展和收敛状态双感知能力的自适应局部增强策略，在算法后期阶段对高质量解的邻域进行多策略协同开发，以提高收敛精度和稳定性。在IEEE CEC 2022基准测试套件上的综合实验评估表明，HGSAO在单峰、多峰、混合和复合函数上均实现了更优的优化精度、收敛速度和鲁棒性，Wilcoxon秩和检验确认了其具有统计显著性的优越性。此外，在12个公开数据集上进行的特征选择实验证实了HGSAO在高维分类中的有效性，以更低的特征维度实现了更高的分类精度，从而展示了其在工程应用中的强大潜力。

引言
元启发式优化算法已成为解决复杂工程优化问题的有力工具[1]，因为它们所需的先验领域知识较少且具有较强的泛化能力。此类算法已被广泛应用于多个研究领域，包括水稻植株图像的多级阈值分割[2]和水下无人艇路径规划[3]。元启发式算法的核心设计在于建立高效的搜索框架，以平衡解空间的全局探索与有前景区域的局部开发，使算法能够在复杂多模态解空间中收敛至全局最优解[4]。

近年来，该研究领域涌现了众多新型自然启发优化算法。尽管其中许多采用了创新性的设计范式，但学术界已逐渐认识到，过度依赖隐喻叙事可能会掩盖算法创新的核心本质。Tzanetos等人认为，仅仅提出另一种基于隐喻驱动的新算法并不能实质性地推动研究进展。真正的理论和方法论突破应源自对现有算法的深入解构。必须通过统计验证识别出能有效提升优化性能的核心组件和参数配置，而非仅仅依赖表面的隐喻描述[5]。受这一观点启发，我们的研究重点从设计新型基于隐喻的算法转向对现有算法框架进行系统性解构和模块化重组，旨在从根本上改善算法架构和信息传播机制。

特征选择[6]是高维数据分析中的关键降维技术，旨在分离出一个紧凑且具有判别力的特征子集，以消除冗余并缓解过拟合。现有方法通常根据搜索策略和评估机制分为启发式和非启发式两类。启发式方法主要利用进化计算和群智能[7]，将分类性能作为直接优化目标。这些算法通过随机搜索遍历组合解空间，在处理高维、高度非线性问题时展现出明显优势。相比之下，非启发式方法包括基于相关性的过滤算法和嵌入算法，以及最近兴起的基于马尔可夫边界（MB）的因果特征选择方法[8]。尽管这些方法有效，但传统的过滤和嵌入方法主要捕获统计关联而非因果关系，因此往往难以区分真实的因果特征与由混杂因素引起的虚假相关，并可能忽略复杂的多元依赖关系[9]。

为克服这些局限性，基于马尔可夫边界（MB）的因果特征选择方法已成为一个有前景的研究焦点。在贝叶斯网络的忠实性假设下，目标变量T的MB由其父节点、子节点和配偶构成的最小集合组成。值得注意的是，MB之外的所有变量在给定MB的条件下与T条件独立，使其能够包含T的所有预测信息，并通过与局部因果结构的精确对齐赋予固有的鲁棒性。方法论上的进展包括：(i) CCMB[8]，通过交叉验证和互补机制增强MB发现的召回率，以缓解有限样本中条件独立性检验的错误掩盖；(ii) MBSD[10]，将历史MB知识作为先验信息并结合概念漂移检测，实现动态环境中的自适应因果特征学习；以及(iii) MI-MCF[11]和CTMB[12]，分别利用互信息度量和多目标MB发现解决多标签学习问题。这些方法共同为多种场景下的因果特征选择奠定了坚实基础。然而，因果特征选择方法的有效性从根本上依赖于条件独立性（CI）检验的可靠性，而其准确性在有限样本量下难以保证。相比之下，元启发式算法将特征子集的分类性能作为优化目标，通过随机探索高效遍历组合搜索空间，从而避免了CI检验中固有的严格假设依赖。反过来，包装型方法的有效性取决于其底层优化算法的搜索效率。

雪消融优化器（SAO）算法[13]具备独特的双种群并行协同框架，通过自适应种群规模动态分配全局探索和局部开发的资源。然而，实证研究[14]表明，标准SAO在多模态、复合和不对称问题上倾向于次优收敛，往往停滞在局部最优解。这些缺陷源于三个结构性矛盾：(i) 其统一的位置更新策略无法根据个体演化性能动态进行行为自适应；(ii) 依赖全局最优解引导和随机扰动，忽略了历史轨迹和种群分布模式，阻碍了在有前景区域的高效开发；(iii) 缺乏专门的后期局部精化机制，妨碍了对精英解周围区域的深入探索。虽然先前的改进工作[15]、[16]、[17]已针对初始化、变异算子和参数自适应进行了优化，但这些表面调整并未解决搜索动态与解空间演化之间的架构不匹配问题。尽管种群分层[18]、[19]、[20]在平衡探索与开发方面已被证明有效，但SAO的动态双种群缩放与静态分层范式相冲突。因此，开发与SAO固有机制相一致的内生分层和协同方案势在必行。

为克服上述瓶颈，本文对SAO框架进行了根本性的解构和模块化重建。选择SAO作为研究对象并非为了延续其隐喻性解释，而是为了系统性地识别和解决其核心组件中信息传播效率低下的问题。本研究的基本创新不在于雪融化启发的隐喻，而在于通过跨机制集成建立一种泛化的协同优化范式。与现有的多种群和分层PSO框架（如MCellPSO-PD[21]、ACEPSO[22]）采用固定尺度或预设线性调整策略不同，本文提出的动态分层协同机制可以无缝嵌入SAO的耦合双种群动态缩放架构中。首次实现了分层协同与SAO内生成进化动态的内在融合。在此基础上，我们提出了混合雪消融优化器（HGSAO）算法。其架构创新聚焦于三阶段交互式闭环协同机制：动态分层组织、定向更新和自适应增强。该机制有效克服了原始SAO的行为同质性、搜索引导不足和后期进化阶段优化效率低下等结构缺陷。当用作特征选择的包装优化引擎时，HGSAO相较于上述因果特征选择方法具有两个核心优势。(1) 彻底移除了对CI检验强假设的依赖，能够在小样本和高噪声的真实场景中实现鲁棒的优化搜索；(2) 凭借动态分层划分和定向更新策略，HGSAO可以在离散组合空间中高效逼近包含强因果特征和适当冗余互补特征的最优特征子集，从而在预测精度和模型可解释性之间实现最优权衡。本文的方法论贡献通过三层模块化重建进行系统总结：

首先，动态分层划分与自适应资源分配。为解决同质行为模式导致的探索-开发失衡，开发了一种结合进化趋势分析的实时性能分类器。该机制将种群动态划分为三个功能层次（精英、潜力和普通），通过进化阶段识别实现计算资源的阶段性分配。其次，具有历史-种群耦合的定向更新模型。为克服搜索方向性不足，提出了一种融合个体历史动量、精英引导和种群分布熵的速度更新范式。系统地为每个层次制定了差异化的位置更新策略，显著增强了对高潜力解区域的聚焦搜索能力。第三，状态感知的自适应局部增强框架。为克服后期迭代中的收敛精化瓶颈，设计了一个由迭代进展指标和停滞检测双触发的智能扰动模块。该框架通过多策略协同扰动实现了对精英解的定向邻域探索，在提高优化精度的同时保持较强的开发能力。

为严格验证由上述重组机制派生的所提框架的性能，本研究在10维和20维配置下针对IEEE CEC 2022标准测试套件与七种最先进算法进行了全面的基准实验。从优化精度、收敛速度和算法鲁棒性三个关键维度进行了多维评估。此外，通过在12个分类数据集上进行的实证验证，展示了该算法在特征选择中的实际适用性。本工作建立的方法论框架证实，对算法内在组件和信息传播路径进行重组和创新可以产生超越隐喻驱动设计范式的进步，从而为进化算法开发提供了基础性方法论。

本文的组织结构如下：第2节介绍SAO的基本原理；第3节详细阐述HGSAO的核心机制和实现流程；第4节展示数值优化的实验结果和分析；第5节聚焦特征选择任务；最后，论文以总结和_future研究方向作为结尾。

章节摘要

雪消融优化器
雪消融优化器（SAO）算法灵感来源于雪的升华和融化自然过程。通过模拟各种环境因素影响下雪的动态变化，该算法构建了一个结构简洁、参数设置灵活且易于实现的优化框架，适用于解决广泛的复杂优化问题。

HGSAO算法的研究框架
SAO通过其双种群协同架构实现了探索-开发的平衡权衡。然而，在处理涉及多模态景观和复合结构函数的复杂优化问题时，其收敛效率和求解精度仍不够理想。这一缺陷源于算法架构固有的三个基本局限性：首先，统一的更新策略无法根据实验分析

实验分析
为评估所提HGSAO算法在复杂优化问题上的性能，采用CEC 2022基准测试套件（表1）进行数值实验。该套件包含12个测试函数：一个单峰函数（f1）、四个简单多峰函数（f2–f5）、三个混合函数（f6–f8）和四个复合函数（f9–f12）。种群大小设为N=50，每次运行的最大迭代次数为tmax=1000。每个算法在每个基准上独立运行30次

数据集与实验设置
HGSAO算法被用于解决特征选择问题。本研究基于ASU数据库（https://jundongl.github.io/scikit-feature/datasets.html）和UCI数据库（http://archive.ics.uci.edu/）构建了包含12个随机选取的典型数据集的基准测试集。所选数据集涵盖了类别分布（2–20类）、样本量（73–1440）、特征维度（9–9712）和属性类型（连续、离散和混合）等维度，并

结论
针对以SAO为代表的特定算法框架在处理复杂多模态和复合结构优化问题时表现出的共同瓶颈，如收敛速度慢、容易陷入局部最优以及后期迭代阶段开发能力不足等问题，本文对算法解构和组件重组进行了深入研究。

这项研究的重点是识别并克服固有的。CRediT 作者贡献声明：李张：撰写—审阅与编辑、撰写—初稿、监督、软件、资源。陈潇波：撰写—审阅与编辑、撰写—初稿、可视化。资金资助：教育部符号计算与知识工程重点实验室（吉林大学）（编号：93K172023K08）。利益冲突声明：本手稿的提交不存在利益冲突，且该手稿已获全部作者批准发表。作者谨代表全体合著者声明，所述工作为原始研究，此前未曾发表，亦未整体或部分在其他地方投稿审稿中。李张 | 陈潇波