基于动态多领导者选择策略的多目标加权排序算法在特征选择中的应用

《Expert Systems with Applications》:Multi-objective WOA based on dynamic multiple leader selection strategies for feature selection

【字体: 大 中 小 】 时间:2026年02月13日 来源:Expert Systems with Applications 9.4

编辑推荐:

  陈建桥|崔悦|王书琴中国天津师范大学计算机与信息工程学院,天津300387摘要作为一种高效的特征选择方法,多目标优化能够显著提升算法的分类性能。然而,现有的许多多目标优化算法在搜索过程中往往难以平衡收敛性与多样性,从而影响其整体性能。为解决这一问题,本文采用了具有直观性、参数少且

  陈建桥|崔悦|王书琴中国天津师范大学计算机与信息工程学院,天津300387摘要作为一种高效的特征选择方法,多目标优化能够显著提升算法的分类性能。然而,现有的许多多目标优化算法在搜索过程中往往难以平衡收敛性与多样性,从而影响其整体性能。为解决这一问题,本文采用了具有直观性、参数少且收敛速度快的鲸鱼优化算法,并基于动态多领导者选择策略提出了一种改进的多目标鲸鱼优化算法用于特征选择。在初始化阶段,所提出的整合多种统计指标的种群初始化策略有助于提升原始种群中个体的质量。在搜索过程中,提出了两种领导者选择策略:一种基于个体评估记录,另一种基于优秀个体的特征信息。这些策略会在迭代过程中动态应用,引导种群朝向高质量解发展,促进算法收敛。此外,本文还借鉴遗传算法的思想,提出了一组组合操作,包括精英引导交叉、基于优先级的变异以及自主修复操作,以增强种群的多样性。这些操作有助于维持种群内的多样性,确保算法在不同数据集和维度下的适应性。在16个不同维度的数据集上的实验结果表明,MODMLS在分类性能方面优于当前最先进的多目标优化算法,具有明显的竞争优势。

引言互联网的出现和广泛应用产生了海量数据。物联网的发展使得越来越多的设备接入网络。社交媒体的普及以及移动设备的增长进一步导致了在线数据的激增。与此同时,生成数据的维度也在以惊人的速度增加,这就出现了所谓的“维度灾难”现象(Moslemi和Ahmadian,2024)。这一现象给包括机器学习、推荐系统、模式识别、计算机视觉和数据挖掘在内的众多领域的方法模型构建带来了巨大挑战。因此,降低数据维度已成为研究人员日益关注的课题。目前,降维技术主要分为两类:特征提取和特征选择(Dai等人,2024)。特征提取是通过映射将原始数据转换为新的低维特征表示,该技术属于无监督学习,无需依赖数据标签,常见的方法包括主成分分析(PCA)(Xie,2022)、线性判别分析(LDA)(Zhou等人,2024)、t分布随机邻域嵌入(t-SNE)(Lu和Yan,2021)、自编码器(Lu等人,2022)等。与特征提取不同,特征选择方法更具可解释性,且计算成本更低。它的目标是从原始特征集中选择一部分特征,而非生成新特征。根据是否使用数据标签,特征选择方法可分为监督式方法和无监督式方法。一般来说,特征选择方法可分为三类:过滤法、嵌入法和包装法(Dokeroglu等人,2022;Gong等人,2024)。过滤法通过相关性系数(Gong等人,2024)、卡方值(Ley和Orchard,2017)以及互信息(Agrawal等人,2022)等统计指标来评估特征,根据其排名筛选特征。嵌入法则利用模型本身的特性来评估特征重要性,选取那些对模型性能有显著影响的特征,常用的方法包括决策树(Zhou等人,2021)、随机森林(Wang等人,2024)、神经网络(Naik和Kuppili,2024)等。与前两种方法不同,包装法则使用相对简单的学习算法来评估由不同特征子集组成的候选集,再根据得到的分类性能选择表现较好的特征子集。尽管包装法在计算时间上可能略逊于过滤法,但其在分类性能方面,尤其是在分类准确率和所选特征数量方面,表现出色。此外,包装法的计算复杂度也低于嵌入法。值得注意的是,在包装法中,选择合适的特征子集搜索策略对于提升模型的分类性能至关重要。与计算成本较高的递归特征消除算法(Liu和Wang,2021)以及容易陷入局部最优的贪婪搜索算法(Guyon和Elisseeff,2003)相比,元启发式算法的出现大大促进了特征子集的搜索与演化。

近年来,元启发式算法及其改进算法在特征选择领域的应用日益增多。这些算法包括基于物理特性的算法,如模拟退火算法(Ma等人,2023)、群体智能算法以及进化算法。进化算法主要模拟生物进化的过程,例如遗传算法(Bohrer和Dorn,2024)、人工免疫系统算法(Wang和Li,2020)等。群体智能算法则从动物群体行为中获取灵感,模仿动物群体中的规则和行为。著名的群体智能算法包括粒子群优化算法(Kennedy和Eberhart,1995)、灰狼优化算法(Mirjalili等人,2014)、哈里斯鹰优化算法(Heidari等人,2019)、萤火虫优化算法(Yang等人,2010)、蚁群优化算法(Colorni等人,1991)、杜鹃搜索算法(Yang等人,2009)、人工蜂群算法(Karaboga,2005)、蝴蝶优化算法(Arora和Singh,2019)等。尤其是多目标优化算法,展现了更出色的分类性能。多目标优化算法具有更全面的性能,能够在保持与单目标优化算法相似甚至更高的分类准确率的同时,大幅减少特征子集中的特征数量。因此,这类算法在特征选择领域受到了越来越多关注。例如,Coello等人(Coello等人,2002)利用外部档案集和自适应网格技术存储帕累托最优解,根据这些非支配解的经验来确定粒子的飞行方向。Xue等人(Xue, B., W. Fu, M. Zhang, C. Igel,2014)首次将进化技术应用于特征选择,基于NSGA-II(Deb等人,2002)算法框架,同时降低了分类错误率和所选特征数量,使特征数量减少了大约一半,同时保持了较低的分类错误率。此外,Xue等人(Xue等人,2013)率先将粒子群优化方法应用于多目标特征选择领域,提出了考虑非支配排序和拥挤距离的方法。Amoozegar等人(Amoozegar和Minaei-Bidgoli,2018)引入了一种基于特征信息的精英机制,利用各特征出现频率的排名级别来优化档案并指导粒子的飞行方向,从而充分利用问题空间中的重要信息。Zhou等人(Zhou等人,2020)开发了一种基于两阶段粒子协同策略的粒子群优化算法,在普通粒子和严格粒子的初始化策略下,通过分解算法框架更新粒子,有效去除了高维数据集中的冗余特征。Got等人(Got等人,2021)提出了一种结合过滤法和包装法的特征选择方法,对鲸鱼优化算法进行了改进,使其能够获得具有高分类准确率的特征子集。Chai等人(Chai等人,2023)提出了一种基于对称不确定性的新型多目标免疫特征选择算法,通过种群初始化、比例克隆和种群更新策略提升了分类性能。然而,这些多目标优化算法在搜索过程中面临着平衡收敛性与多样性的挑战。快速收敛有助于确定个体的发展方向,便于尽早获得优质个体,但过度收敛可能导致过早收敛,使搜索过程陷入局部最优,降低个体的多样性。收敛性与多样性之间的平衡会直接影响算法的分类性能,因此,较高的分类性能和超体积大小可以在一定程度上反映算法在收敛性和多样性方面的综合表现。此外,高维数据通常包含大量无关特征和冗余特征(Wang等人,2024),这可能导致搜索状态陷入局部最优,降低搜索能力。相反,过分强调多样性则可能导致收敛缓慢,进而降低探索能力,降低解决方案的质量。因此,多目标优化算法面临的一个关键挑战就是在决策空间内实现收敛性与多样性之间的平衡,因为这种平衡对于提升算法的分类性能至关重要。为了解决这个问题,本文提出了一种基于动态多领导者选择策略的多目标鲸鱼优化算法用于特征选择。选择鲸鱼优化算法作为基础算法,不仅因为它简单且收敛速度快,还因为它为构建多目标特征选择技术提供了尚未被充分探索但前景广阔的基础,有助于更清晰地观察我们所提出的动态策略的效果。在初始化阶段,本文提出了一种考虑多种统计指标的种群初始化策略,以生成均匀且多样化的初始种群,从而提升原始种群中个体的质量。在搜索过程中,提出了两种领导者选择策略:一种基于个体评估记录,另一种利用优秀个体的特征信息。这些策略会在算法的迭代过程中动态应用,引导种群向更高质量发展,促进算法收敛。为进一步提高种群多样性,本文还提出了一组借鉴遗传算法的组合操作,包括精英引导交叉、基于优先级的变异以及自主修复操作。通过上述方法,可在决策空间内实现算法收敛性与多样性的平衡,即让种群个体向高质量发展,同时让算法获得具有良好多样性分布的种群,从而提升算法的分类性能。实验结果表明,MODMLS在分类性能方面优于现有的最先进多目标优化算法。

本文的主要贡献如下:(1)提出了一种考虑多种统计指标的种群初始化策略,有助于探索关键区域并提升多样性。(2)提出了两种新的领导者选择策略。在迭代过程的中间和后期,首先采用第一种策略,根据MODMLS中定义的个体评估记录来选择领导者,以提高解决方案的质量。当领导者连续三次未发生变化时,再采用第二种策略,根据特征信息选择领导者,以增强种群的多样性。(3)设计了一组组合操作,即精英引导交叉、基于优先级的变异和自主修复操作,旨在提高种群多样性,并在一定程度上减少过度多样性现象的发生。(4)将该算法与3种单目标优化算法、7种双目标优化算法以及3种三目标优化算法在16个数据集上进行了比较。这些数据集的维度分为三组:低维度(100–1000)、中维度(1000–10000)和高维度(>10000)。实验结果表明,该算法在不同维度的数据集上都取得了良好的分类性能。

本文结构如下:第2节回顾了与所提算法相关的一些前期研究。第3节详细阐述了MODMLS的具体内容。第4节展示了实验结果。第5节总结了本文内容并探讨了未来的研究方向。如果不存在其他更好的解决方案,那么该方案即被视为帕累托最优解。

算法框架
鉴于大多数现有的多目标优化算法在搜索决策空间时都面临着收敛性与多样性之间失衡的问题,本文提出了一种基于动态多重领导者选择策略的多目标鲸鱼优化特征选择算法。该算法的流程图如图1所示。它是以鲸鱼优化算法为基础,并结合了遗传算法而设计的。

实验
本节详细介绍了实验部分的内容,包括实验数据集、参数设置、评估指标、参数分析、算法性能的对比分析以及消融实验。

结论
本文提出了一种基于动态多重领导者选择策略的多目标鲸鱼优化算法。MODMLS不仅提升了算法的收敛速度,还能防止其陷入局部最优解,从而有效平衡了搜索过程中的收敛性与多样性。此外,本文还提出了一种较为全面的种群初始化策略,通过四种不同的统计指标来获得高质量的初始种群。

利益冲突声明
作者声明自己没有已知的可能影响本文研究结果的财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金项目(编号61070089)以及天津市自然科学基金项目(编号15JCYBJC46600和19JCZDJC35100)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号