基于多指标任务构建的进化辅助优化特征选择方法

《Swarm and Evolutionary Computation》：Evolutionary auxiliary optimization for feature selection with multi-indicator task construction

　　

张伟政|赵一伟|宁浩天|张薇薇|李艳婷|刘彦培|韩创

中国郑州450001，郑州轻工业大学计算机科学与人工智能学院

摘要

进化辅助优化方法在高维特征选择的实际应用中具有巨大潜力。然而，现有的进化辅助优化方法受限于依赖单一过滤方法的固定任务生成策略，这可能会限制性能并增加计算成本。为解决这些难题，本文提出了一种新的进化辅助优化框架。该框架采用多指标集成任务生成策略，结合多种过滤方法来构建互补的辅助任务，以消除无关特征并整合互补知识。此外，还整合了改进的粒子群优化算法以及动态知识传递机制，以在双任务场景下提升优化效果。该机制包含动态传递因子和任务感知的基因优化策略，提升了信息交换效率与搜索能力。在16个公开的高维数据集上的实验表明，所提出的进化辅助优化方法优于现有的最先进方法。它不仅能够生成更优质的特征子集，还能显著降低运行时间。

引言

传感器技术的普及以及互联网的广泛使用推动了大量数据的产生。尤其是基因测序和社交网络分析的进步，使得人们能够获取大量的基因组、行为数据，以及来自互联网的文本和图像数据[[1], [2], [3]]。这类数据集由于维度极高，带来了诸多挑战，包括计算复杂性高，以及由于特征丰富而导致的模型过拟合风险。如果不经过预先筛选就使用所有特征进行建模，会进一步增加计算复杂度、成本，以及模型过拟合的风险。选择合适的特征子集不仅能帮助更好地理解模型的工作原理，还能提升预测精度，进而提高模型的效率和性能[4]。因此，特征选择已成为高维数据分析中至关重要的预处理步骤，其目的是减少冗余、提升模型的泛化能力并提高计算效率。

常用的特征选择方法包括过滤法[[5], [6], [7]]、包装法和嵌入法[10,11]。过滤法虽然计算效率高且与模型无关，但可能忽视特征间的关系以及与目标之间的复杂非线性关联。包装法虽能较好地捕捉特征间关系，但可能需要多次重新训练模型，从而导致计算量大，且当特征数量较多时容易过拟合。嵌入法则将特征选择融入模型训练过程，从而更准确地判断特征的重要性。不过，这种方法会带来较大的计算开销，还需要精心选择合适的模型架构和正则化参数。鉴于这些方法之间的权衡，人们提出了混合特征选择方法，旨在结合各自的优势并弥补各自的不足。

在混合特征选择方法中，基于进化算法的方法受到了广泛关注，例如基于粒子群优化 的特征选择方法[[12], [13], [14]]、基于遗传算法的特征选择方法[[15], [16], [17]]，以及基于差分进化算法的特征选择方法[18,19]。近期有研究对基于进化算法的特征选择方法进行了全面分析[20,21]，结果表明它们在处理非线性及多模态搜索空间方面具有优势。然而，进化算法在处理高维特征选择问题时仍面临一些挑战，比如容易陷入局部最优解[22]，以及计算成本较高[23]。为解决这些问题，进化辅助优化方法作为一种强大的辅助优化机制被引入[24]。需要指出的是，此处所设计的辅助任务形式与传统的辅助优化框架原则一致。这一概念基础可追溯到拉格朗日乘数法和KKT条件等基础数学策略，其核心是通过构建原始问题的辅助变体来促进问题收敛。在传统框架下，原始问题会被分解为一个主任务以及一个或多个具有信息价值的子任务。通过将原始问题分解为多个子任务并促进这些任务之间的知识传递，进化辅助优化方法可以有效降低模型过拟合的风险，提升预测性能。先前的研究[25,26]已经证明了进化辅助优化框架在高维特征选择问题中的有效性，尤其是在解决方案的质量和收敛速度方面。不过，这些方法的性能在很大程度上取决于辅助任务的构建方式以及知识传递机制。通常，生成任务有两种主要方法：一种是将问题分为两个任务，主任务仍是原始任务，另加一个辅助任务；另一种则是根据多种过滤方法将问题分解为多个任务。前者通常计算复杂度较低，但任务之间的知识传递多样性往往不足。现有方法仅依赖单一的过滤指标Relief-F来生成辅助任务，这在处理高维数据集时存在局限性[4]。而后者则通过多个任务进行知识传递，从而提升了多样性，但同时也增加了计算复杂度，而且难以控制任务之间的负面知识传递。因此，设计任务生成机制时，需要在保持多样性与控制计算复杂度之间找到平衡点。为此，本文提出了一种双任务进化辅助优化方法，该方法结合多种过滤方法的优点来生成辅助任务。这种做法不仅避免了因多个任务带来的计算复杂度增加，还能有效克服单一过滤指标在子任务处理中的局限性。

此外，许多现有方法[[25], [26], [27]]在知识传递过程中采用恒定的传递概率，这种方式无法体现主任务与辅助任务的不同作用。在优化初期，知识传递有助于探索并引入有益的多样性，但在后期过度传递则可能阻碍收敛并导致系统不稳定。因此，需要一种动态的、自适应的传递机制，以便在整个进化过程中平衡探索与利用之间的关系。

正是出于这些挑战，本研究旨在开发一种高效的进化辅助优化框架，同时提升任务多样性以及自适应知识传递能力。具体而言，本研究明确了三个研究缺口：（1）现有的基于辅助任务的特征选择模型往往依赖单一过滤指标，导致任务多样性有限；（2）静态的传递概率无法反映主任务与辅助任务之间不断变化的关系，容易导致过早收敛；（3）计算效率与有效知识传递之间的平衡问题尚未得到妥善解决。填补这些缺口有望显著改善高维特征选择任务中的收敛行为和分类性能。

为此，本文提出了一种名为EAO-MIDKT的进化辅助优化方法，专门用于高维分类问题。该方法采用了多指标集成任务生成策略以及动态知识传递机制，旨在提升粒子群优化算法在高维数据上的特征选择性能。本文的主要贡献如下。

• i).
  多指标集成任务生成策略：该策略通过整合多种过滤指标来构建多样化的辅助任务，从而提升任务之间的互补性、跨数据集的适应性以及知识传递效率，同时降低计算成本。
• ii).
  动态知识传递机制：该机制通过自适应调整传递概率，并采用任务感知的基因优化策略，避免过早收敛，同时提升全局探索能力与种群多样性。
• iii).
  改进的进化辅助优化框架：本文提出了改进后的进化辅助优化框架，并在16个真实的高维数据集（特征数量为2,000至12,000）上进行了验证，结果显示其分类准确率与稳定性均优于现有的进化特征选择方法。

章节节选

初步研究及相关工作

本节首先介绍特征选择中常用的过滤指标，随后简要回顾相关研究。

所提方法

本节介绍了用于高维分类特征选择的EAO-MIDKT方法。我们的方法包含两个主要部分。首先，我们提出了一种多指标集成任务生成策略，用于生成两个互补的子任务。其次，我们开发了一种改进的粒子群优化算法，该算法结合了动态知识传递机制以及任务感知的基因优化策略。这两部分共同促进了任务之间以及目标基因之间的有效迁移学习。

数据集

如表1所示，我们使用了来自多个知名开源数据库的16个基因表达数据集。这些数据集展现了基因表达数据所具有的多样性和复杂性。表1列出了这些数据集的关键属性，如维度、样本数量以及类别分布等信息，这些信息对于理解数据集并制定分析策略具有重要意义。尤其值得注意的是，这些数据集中普遍存在严重的类别不平衡现象。

性能比较与分析

本节首先将我们所提出的算法与传统的粒子群优化算法、传统的特征选择算法以及其他基于进化辅助优化的最先进特征选择方法进行比较。相应的错误率以及获得的特征子集数量分别列于表3、表4、表5和表6中。随后，我们对辅助任务生成方法以及任务感知的基因优化机制进行了实验分析，以验证它们的有效性。

结论

本文提出了一种专为高维数据分类设计的新型进化辅助优化方法。该方法结合了一种新的多滤波器特征融合技术来生成辅助任务，从而促进原始特征选择任务与辅助任务之间的有效信息共享。该技术在多种不同数据集上均表现出良好的适用性和稳定的性能。此外，我们还引入了动态知识传递因子来提升计算效率。同时，我们还提出了一种特征子集选取方法……

CRediT作者贡献说明

张伟政：论文撰写——初稿撰写、研究工作、正式分析、概念构思。 赵一伟：论文撰写——初稿撰写、可视化处理、结果验证、软件实现。 宁浩天：软件实现、方法设计、概念构思。 张薇薇：论文撰写——审阅与编辑、初稿撰写、结果验证、软件实现、方法设计、研究工作、概念构思。 李艳婷：可视化处理、方法设计、概念构思。 刘彦培：结果验证、软件实现、研究工作、概念构思。 韩创：