基于模糊自编码器的进化多目标算法用于高维特征选择

《Neurocomputing》：A fuzzy-autoencoder-based evolutionary multiobjective algorithm for high-dimensional feature selection

　　摘要：高维数据集通常包含大量无关或冗余的特征，这可能导致过拟合并增加计算复杂度。在大多数情况下，特征选择可以提高分类精度并降低特征维度，因此可视为一个多目标优化问题。近年来，多目标进化算法在多目标特征选择任务中表现出良好性能。然而，面对高维噪声数据时，它们的性能往往会下降。为解决这些挑战，本文提出了一种利用模糊自编码器的进化算法，即FAE-MOEA，用于多目标特征选择。该方法结合模糊理论与自编码器模型，有效抑制数据中的噪声，进一步提升特征重要性的区分能力。具体而言，我们首先运用互信息与k均值算法对特征相关性进行分类，再利用直觉模糊集处理不确定性，最后通过带有评估层的自编码器提取特征重要性。此外，为加速优化过程并筛选出更优的特征子集，FAE-MOEA基于特征重要性和个体重要性初始化一个引导矩阵，并利用该矩阵引导种群的演化。为此，还设计了两个关键操作符和一种更新策略，以在每次迭代中有效指导演化搜索过程。在12个高维数据集上的实验结果表明，与现有几种算法相比，所提算法在保留子集的维度以及最终的分类性能方面均有显著提升。

引言：来自社交网络、金融交易和医疗系统等多种平台的数据正以指数速度增长[1][2]。虽然如此大规模的数据带来了前所未有的机遇，但也带来了严重的计算和处理挑战。由于这类数据具有高维复杂性、严重噪声以及信息冗余，传统分析模型的处理能力受到极大限制，从而大幅降低了数据解读的效率[3][4]。特征选择是应对这些挑战的主要策略，它旨在根据特定标准识别最具代表性的特征子集，同时保留原始数据的内在物理语义。现有的主流方法包括过滤法、包装法和嵌入法，它们分别用于筛选对下游学习任务有益的关键特征[5][6][7]。通过消除无关维度，特征选择能有效抑制噪声和信息冗余，从而降低算法过拟合的风险，提高模型透明度，进而提升整体学习性能。不过，过滤法可能忽略与分类器相关的特征交互作用，包装法通常需要反复训练模型，而嵌入法则往往依赖于特定的学习模型。这些局限性促使研究人员探索基于进化计算的特征选择方法，这类方法在搜索复杂特征空间时更具灵活性。进化计算因其强大的全局优化能力，在特征选择领域展现出巨大潜力。在早期基于进化计算的特征选择研究中，该任务通常被简化为仅关注最大化分类精度的单目标优化问题。针对这一问题，传统的解决方法包括遗传算法[8]、粒子群优化[9]、蚁群优化[10]以及差分进化[11]。然而，在实际应用中，特征选择本质上属于多目标优化任务。这种范式能够在预测精度与子集维度之间实现最佳平衡，无需依赖人为设定的权衡参数[12][13]。此外，多目标算法能够生成具有不同权衡特征的候选解集，为后续任务提供多种选择方案[14]。该领域的代表性模型包括非支配排序遗传算法II（NSGA-II）[15]、多目标粒子群优化[16]以及基于分解的多目标进化算法（MOEA/D）[17]。这些研究表明，进化计算能够为特征选择提供多种权衡解决方案。然而，早期的单目标方法往往过度强调分类精度而忽视特征紧凑性，而且一般的多目标进化算法并未针对极其稀疏且高维的搜索空间进行专门设计。因此，高维特征选择已成为基于多目标进化算法的特征选择研究中的一个更为具体且具有挑战性的分支。对于高维数据集，随着特征数量的增加，其对应的搜索空间也会呈指数级扩张，这使得许多传统算法在处理大规模特征选择问题时容易收敛到次优解[18]。为应对这一挑战，研究人员探讨了基于进化计算的高维环境特征选择方法。例如，田等人[19]提出了一种自适应多目标进化算法，该算法将深度强化学习与操作符选择机制相结合，通过动态匹配最优的交叉和变异操作符，提升了在庞大解空间中的收敛性能。田等人[20]则采用了另一种优化范式，提出了基于竞争群优化的多目标策略，通过竞争学习策略有效引导种群找到最优特征组合。结构先验和分组策略也得到了广泛研究。张等人[21]为稀疏大规模环境设计了一种改进算法，该算法结合了变量分组策略与双层编码机制，通过明确描述特征稀疏分布的先验信息来抑制冗余属性。类似地，程等人[22]提出了一种具有可变粒度的算法，该算法将特征分组与动态搜索机制相结合，通过在不同演化阶段自适应调整搜索粒度来选择最具代表性的特征。其他先进的搜索策略还包括邵等人[23]提出的知识学习方法，该方法利用多层感知器挖掘历史演化数据，构建用于降维的映射模型。此外，徐等人[24]提出了一种双搜索进化算法，该算法结合正向和反向任务，提升了在大规模空间中的探索能力。最后，余等人[25]提出了一种基于空间变换的多形式优化方法，该方法根据特征排序为变量分配不同的分组，通过构建多形式子空间进行评估，以提高种群的多样性。总体而言，这些研究表明，自适应操作符选择、竞争搜索、稀疏建模、变量分组、知识学习以及多形式搜索已成为高维进化特征选择的重要研究方向。然而，这些改进主要集中在优化搜索过程本身，而在高维数据存在噪声样本和不确定特征贡献的情况下，用于评估和指导候选特征子集的信息可靠性仍需进一步研究。在进化算法中，种群的初始化是决定优化性能的关键因素。目前大多数方法仍依赖随机采样来生成初始种群。但由于特征选择的帕累托最优解具有固有的稀疏性，这种随机初始化策略会阻碍初始个体有效接近帕累托最优区域，从而严重影响整体收敛过程[26]。为克服这一限制，研究人员开发了多种专门的初始化方法。例如，柴等人[27]提出了一种基于对称不确定性的初始化策略，该方法通过评估每个特征与对应类别标签之间的相关指标，再利用这些指标构建种群。此外，徐等人[28]引入了探针种群机制来提升初始化能力，该方法首先部署少量探针个体对高维搜索空间进行初步评估，然后利用这些探针提供的特征潜在信息作为先验指导来构建初始种群。这些策略通过引入相关性信息或探针信息提升了初始化质量。然而，这些策略构建的指导信息仍然主要来源于浅层统计或有限的探索个体，可能不足以捕捉高维噪声数据中的非线性特征依赖关系。尽管现有的多目标进化算法在特征选择领域取得了显著进展，但一些关键问题仍未得到解决。首先，目前大多数方法都基于原始数据本身具有可靠性的前提，这种依赖性严重削弱了模型的鲁棒性，使得这些方法在处理噪声数据时极易受到干扰[29][30]。其次，要制定有效的种群初始化策略，就需要建立一种将原始高维特征与其核心特征子集相连接的非线性变换，而这种映射的构建能为后续的演化过程提供重要的深层先验知识[26]。为应对这两大挑战，本研究提出了一种由模糊自编码器引导的多目标进化算法，专门用于高维特征的选择。所提方法通过采用两阶段模糊策略，有效处理了高维数据集中的不确定性。此外，还利用深度自编码器来建模特征间的复杂非线性相互作用，从而提取出可靠的深层先验知识。随后，该算法结合引导矩阵与两种定制的进化操作符，推动种群向高效优化方向发展。与近期的进化特征选择方法不同，所提方法在不确定性处理、深度特征表示以及进化搜索引导之间建立了更紧密的联系。表1从知识建模、特征先验学习以及进化引导三个方面比较了FAE-MOEA与其他算法的差异。本研究的主要贡献如下：1）所提出的特征选择方法整合了模糊理论、自编码器以及引导矩阵，同时还引入了两种定制操作符，以系统地引导种群朝着最优演化路径发展。2）该方法结合互信息与聚类算法实现对特征的分段加权，进而运用直觉模糊集计算每个样本的隶属度与非隶属度，有效降低了噪声和异常值带来的负面影响。3）本研究提出了一种带有定制评估层的深度自编码器，用于构建迁移学习网络。利用自编码器固有的压缩能力，所提方法能够提取关于全局特征重要性的高阶非线性先验知识，进而直接优化引导矩阵，显著提升特征选择的效率。4）在12个公开数据集上进行的广泛实证测试表明，所提方法在性能上始终优于五种典型的基于进化计算的特征选择方法，尤其是在在最小化特征子集规模的同时最大化分类精度方面表现优异。本文的结构如下：第2节介绍必要的背景知识，第3节阐述FAE-MOEA算法，第4节分析所提算法在公开数据集上的实验结果，第5节总结本研究结论。

章节片段：初步知识部分：本节简要介绍了多目标优化、直觉模糊集以及深度自编码器模型，为理解所提方法奠定基础。所提出的FAE-MOEA算法：基于第2节介绍的初步知识，图1展示了FAE-MOEA的整体工作流程。该框架以高维数据集为输入，通过分类误差和选定特征数量来评估候选特征子集。具体而言，它由三个相互关联的部分组成：基于知识引导的数据初始化、基于模糊自编码器的特征重要性学习，以及基于引导的进化搜索。这些部分依次生成模糊加权数据。实验结果部分：本节介绍了为评估所提FAE-MOEA在高维数据集上的性能而开展的一系列实验。首先介绍实验设置，包括基准数据集、对比算法以及参数配置，随后详细报告并分析实验结果，最后验证所提策略在FAE-MOEA中的有效性。结论与未来工作：本研究提出了一种基于模糊自编码器的进化算法，用于多目标特征选择。在所提出的FAE-MOEA中，通过设计模糊加权机制，初步缓解了噪声和异常值对后续任务带来的影响，该机制主要基于互信息与k均值聚类算法。同时，该方法还运用直觉模糊集来处理不确定性。

CRediT作者贡献声明：丁伟平：撰写——初稿、方法论、资金获取、概念构思。华启冲：可视化、验证、软件。杨嘉如：撰写——审稿与编辑、数据整理。陈月鹏：验证、形式分析。戴文浩：写作——审稿与编辑、可视化、软件。利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。丁伟平（M’16-SM’19）于2013年在中国南京的南京航空航天大学获得计算机科学博士学位。2014年至2015年，他在中国台湾新竹的国立交通大学脑科学研究中心担任博士后研究员。2016年，他作为访问学者前往新加坡国立大学。2017年至2018年，他在澳大利亚悉尼科技大学担任访问教授。目前，他是中国南通市南通大学人工智能与计算机科学学院的正教授。丁伟平|华其冲|杨嘉如|陈月鹏|戴文浩