《Neurocomputing》:Adaptive mixed mutation for unsupervised feature selection using differential evolution
编辑推荐:
随着大数据可用性的增长,在无标签的大规模数据集中识别相关信息变得日益重要。无监督特征选择(Unsupervised Feature Selection, UFS)方法无需依赖标签数据即可应对这一挑战,但由于缺乏标签,往往难以发现信息丰富的特征子集。为解决该局限
随着大数据可用性的增长,在无标签的大规模数据集中识别相关信息变得日益重要。无监督特征选择(Unsupervised Feature Selection, UFS)方法无需依赖标签数据即可应对这一挑战,但由于缺乏标签,往往难以发现信息丰富的特征子集。为解决该局限,研究人员提出了AMUSE——一种基于差分进化(Differential Evolution, DE)的新型算法,融合自适应混合变异策略与辅助模块,并结合多指标适应度函数,以提升解空间的多样性并挖掘更具潜力的特征子集。首先,研究人员对三种现有变异策略进行增强,引入源自交叉空间的“局部最优”元素,替代随机成分,从而提高高质量解的连续性。这些增强策略与五种包含“全局最优”元素的现有变异策略共同构成候选池,研究人员通过自适应选择与加权机制从中选取变异策略。利用余弦相似度与可变衰减因子,研究人员构建了混合变异策略,以保持低相关性与高多样性。其次,研究人员设计了辅助模块,用于评估新生成的混合变异策略是否优于前代策略,并动态调整交叉概率(),从而保留更多潜力解。该数据驱动的调节机制维持了变异空间的高多样性,提升了发现优质特征子集的可能性。此外,研究人员设计了融合多指标的适应度函数,使AMUSE能够有效应用于无监督特征选择任务。研究人员在50个UCI数据集上进行了广泛的实验,将AMUSE与涵盖稀疏型、相似性及进化型的22种现有算法进行比较。结果表明,AMUSE能够稳定生成更有效的特征子集,尤其在二分类任务中表现突出。进一步的特征子集多样性分析也为上述结论提供了支持。源代码已公开于 https://github.com/Mxc666/AMUSE.git。
随着高通量测量技术的发展和数据存储成本的下降,各领域的数据规模呈指数级增长。特征选择(Feature Selection, FS)作为降低维度、提升数据挖掘与机器学习模型性能的重要手段,已成为数据分析的核心环节。传统特征选择方法可分为过滤式(Filter)、包裹式(Wrapper)和嵌入式(Embedded)三类。过滤式方法依赖特征的固有属性(如方差、互信息、卡方检验),虽无需标签,但常忽略特征间相互作用;包裹式和嵌入式方法虽能捕捉特征关联,却依赖标签数据且计算成本高。这些局限推动了无监督特征选择(UFS)的发展,其可在无标签条件下运行,但现有UFS方法如稀疏型(Laplacian Score, LS;Local Fisher Score, LFS;Locality Preserving Projections, LPP)、聚类型和启发式算法(Genetic Algorithms, GAs;Differential Evolution, DE)仍存在参数固定、变异策略单一、缺乏自适应机制等问题,导致解空间多样性不足,易陷入局部最优。为此,研究人员在《Neurocomputing》发表了AMUSE算法,通过自适应混合变异与辅助模块提升UFS性能。
关键技术方法方面,研究人员构建了自适应模块,将含“局部最优”的增强变异策略与含“全局最优”的策略组成候选池,利用余弦相似度与可变衰减因子实现混合变异,从而保持低相关性与高多样性。辅助模块则通过比较连续变异空间的标准差,动态调整交叉概率(CR),提升潜在解的保留率。实验采用50个UCI数据集,涵盖二分类与多分类任务,并与22种UFS算法进行多维度比较。
研究结果分为以下部分。在差分进化算法部分,研究人员回顾了DE的基本原理,即通过变异、交叉与选择操作迭代优化候选解,适用于连续高维全局优化问题。在方法部分,研究人员详细介绍了AMUSE的整体设计,包括自适应混合变异策略、辅助机制和融合多指标的适应度函数,确保搜索空间既具探索性又具收敛性。在结果与讨论部分,研究人员将AMUSE与改进差分进化特征选择(IMoDEFs)、稀疏学习(MCFS, NDFS)、相似性方法(Laplacian Score, SPEC)及聚类方法(MCFS)等进行对比,结果显示AMUSE在多数数据集上均取得更优的特征子集质量,尤其在二分类任务中优势明显。在结论部分,研究人员指出AMUSE通过引入“局部最优”元素平衡了探索与开发,并利用辅助模块实现了交叉概率的自适应调整,显著提升了特征选择的稳定性与有效性。
讨论部分强调,AMUSE的创新在于将多种变异策略动态融合,并通过标准差驱动的交叉概率调节机制提升了解空间的多样性。这种自适应机制减少了对人工参数设置的依赖,增强了算法在不同数据类型上的泛化能力。研究人员认为,该方法不仅在UFS领域具有重要应用价值,也为其他进化计算任务提供了可借鉴的思路。
研究结论翻译:本研究提出了AMUSE,一种面向无监督特征选择的新型差分进化算法。AMUSE集成了两项关键创新:自适应混合变异策略和动态调整交叉概率()的辅助机制。首先,研究人员通过引入“局部最优”解替换原有随机元素,增强了三种现有变异策略,更好地平衡了探索与开发。这些增强策略与包含“全局最优”元素的策略相结合,利用余弦相似度进行自适应加权,确保了混合变异空间的低相关性与高多样性。其次,辅助模块基于连续变异空间的标准差比较,动态调整交叉概率,从而有效保留潜力解。大量实验表明,AMUSE在50个UCI数据集上优于22种现有UFS算法,尤其在二分类任务中表现突出,为特征选择提供了一种高效、鲁棒的新范式。