一种结合了二进制灰狼算法和鲸鱼优化算法的混合方法，用于分类任务中的特征选择

《Expert Systems with Applications》：A Hybrid Binary Grey Wolf and Whale Optimization Method for Feature Selection in Classification Tasks

特征选择；元启发式算法；反向V形转移函数；高维数据优化

　　

Joko Siswantoro | Jabesh Nehemiah Wijaya | Vincentius Riandaru Prasetyo | Heru Arwoko

苏拉巴亚大学信息工程系，印度尼西亚东爪哇省苏拉巴亚市Kalirungkut大道，60293

摘要

近年来，高维数据量的增长给机器学习任务带来了重大挑战，尤其是在特征选择方面。去除不相关或冗余的特征对于提高模型性能和降低计算成本至关重要。本研究提出了一种新的二进制灰狼-鲸鱼优化（BGWWO）算法，这是一种混合元启发式算法，它结合了灰狼优化器（GWO）的探索能力和鲸鱼优化算法（WOA）的利用能力，并通过一种新颖的逆V形传递函数进行了优化，以适应二进制优化问题。BGWWO在十个基准数据集的特征选择任务上进行了实验，使用K-最近邻（KNN）作为分类器。通过仔细的实验，将所提出方法的性能与现有的算法（即二进制版本的粒子群优化（PSO）、GWO、Salp群算法（SSA）和WOA）进行了比较。结果表明，BGWWO在分类准确性、选出的特征数量、适应度值、计算时间和内存使用方面显著优于竞争算法，实现了预测能力和降维之间的更好平衡。这些发现展示了BGWWO作为一种强大且有效的特征选择技术，在各种分类问题中的潜力，为元启发式优化研究领域做出了宝贵贡献。

引言

在大数据时代，医疗保健、金融和网络安全等行业中的高维数据量呈指数级增长（Alani, 2021; Rehman, Naz, Razzak, 2021; Wang, Xiuping, Zhang, 2021）。庞大的数据量带来了通过有价值的洞察力和数据驱动的决策来改进工业实践的机会。数据挖掘旨在从数据中提取有意义的信息，包括机器学习、统计学和数据库（Durugkar, Raja, Nagwanshi, & Kumar, 2022）。在机器学习中，较大的特征维度会增加模型训练的复杂性和计算时间，但并不一定导致模型性能的提升（Siswantoro, Arwoko, & Widiasri, 2020）。因此，降维一直是数据预处理的关键步骤（Jia, Sun, Lian, & Hou, 2022）。

降维是将高维数据映射到低维空间，同时保持原始数据的特征。降维的两种常用方法是特征提取和特征选择（Jia et al., 2022）。特征选择（FS）通过从大型数据集中选择相关特征来减少维度，因为不相关或冗余的特征可能导致过拟合，增加计算成本，并对机器学习模型的性能产生负面影响。另一方面，特征提取通过从原始特征生成新的特征组合来减少维度（Khaire & Dhanalakshmi, 2022）。因此，FS经常被用于高维分类任务（Khodadadi et al., 2023）。

机器学习中的FS通常分为过滤器方法、包装器方法和嵌入式方法。过滤器方法独立于分类器算法使用，并利用统计测试来返回每个特征的相关性排名。尽管计算效率高，但它们没有考虑对模型的影响，可能会导致不理想的结果（Pudjihartono, Fadason, Kempa-Liehr, & O’Sullivan, 2022）。包装器方法计算要求更高，因为它们结合了每个特征子集对模型的性能并输出最佳特征子集（Liu, Yang, Wang, & Chang, 2023）。最后，嵌入式方法是过滤器方法和包装器方法的结合，其中最优特征子集的搜索过程被整合到模型训练过程中（Effrosynidis & Arampatzis, 2021）。尽管包装器方法计算成本较高，但通常比其他两种方法更准确（Nadimi-Shahraki, Banaie-Dezfouli, Zamani, Taghian, & Mirjalili, 2021a）。包装器方法包括穷举法、随机法、贪婪法和元启发式算法（MAs），其中MA目前是最高效和有效的（Agrawal, Abutarboush, Ganesh, & Mohamed, 2021）。

受到自然现象启发的二进制MA算法越来越多，基于群体的算法因其简单性和令人满意的结果而最受欢迎（Pan, Hu, Sná?el, & Chu, 2023）。然而，正如“没有免费的午餐”（NFL）定理（Agushaka & Ezugwu, 2022）所述，没有一种方法可以最优地解决所有问题，这激励研究人员继续创新和改进这些算法以适应更广泛的应用。根据文献综述（Pham & Raahemi, 2023），一些最常用的基于群体的算法包括粒子群优化（PSO）（Kennedy & Eberhart, 1995）、灰狼优化器（GWO）（Mirjalili, Mirjalili, & Lewis, 2014）、Salp群算法（SSA）（Mirjalili et al., 2017）和鲸鱼优化算法（WOA）（Mirjalili & Lewis, 2016）。这些算法被应用于各种领域，例如：GWO用于图像分类（Siswantoro, 2024），PSO用于超参数调整（Daviran, Maghsoudi, & Ghezelbash, 2025），WOA用于路径优化（Husnain & Anwar, 2022）。然而，它们的缺点包括陷入局部最优解和过早收敛（Nadimi-Shahraki, Zamani, Varzaneh, & Mirjalili, 2023）。

本研究关注一种新的优化器——灰狼-鲸鱼优化算法（GWO–WOA），在FS应用中的应用。GWO–WOA是一种混合算法，它结合了受灰狼社会结构和狩猎策略启发的GWO，以及基于座头鲸社会觅食行为的WOA。该算法最初是为了通过结合WOA的对数螺旋方程和GWO的利用能力来提高GWO和WOA算法的收敛性和准确性而提出的。与GWO、WOA和PSO算法相比，这种混合算法在寻找优化问题的全局最小值方面表现出更高的可靠性和准确性。随后，它被用于使用带有外生输入的自回归移动平均（ARMAX）模型来识别主从机器人操纵系统的参数（Obadina, Thaha, Althoefer, & Shaheed, 2021）。由于GWO–WOA处理连续值，而FS是一个二进制优化问题，因此本研究提出了二进制灰狼-鲸鱼优化（BGWWO），它对GWO–WOA应用了一种新颖的逆V形传递函数。然后使用选出的特征来训练K-最近邻（KNN）模型，以评估算法在分类任务中的性能。

本研究提出了BGWWO在分类任务中的开发，并将其性能与现有的优化算法进行了比较。BGWWO的关键优势在于能够在搜索过程中保持强化和多样化之间的良好平衡。这使得算法不会陷入局部最优解，并且更有利于找到全局最优解。因此，BGWWO特别适合解决具有众多局部最优解的复杂优化问题。本研究的主要贡献如下：

1. 开发用于FS的逆V形传递函数，以将GWO-WOA二值化

2. 在十个公共数据集上验证算法的性能

3. 使用多种评估指标评估性能，具体包括：

(a) 平均分类准确性

(b) 平均选出的特征数量

(c) 平均适应度

(d) 最佳适应度

(e) 最差适应度

(f) 平均特征减少比率

(g) 平均计算时间

(h) 平均内存使用

本研究的其余部分组织如下：第2节详细讨论了相关工作。第3节介绍了所提出的算法和实验设置，第4节展示了实验结果和分析。最后，第5节提供了结论和未来研究的方向。

相关研究

相关研究

随着数据量和维度的增加，旨在提取有价值信息的研究也在增加（Nssibi, Manita, & Korbaa, 2023）。然而，数据集可能包含与目标输出无关的不必要变量。例如，基因型数据可能包含数百万个特征，但只有几千个样本，这可能导致计算成本增加和由于过拟合而降低准确性。因此，去除不相关特征对于提高准确性和计算效率至关重要

灰狼优化器（GWO）

GWO（Mirjalili et al., 2014）是一种基于灰狼社会层级和狩猎行为的MA。灰狼被分为四个主要角色：alpha（α）狼代表最佳候选解并指导优化过程；beta（β）和delta（δ）狼代表第二和第三好的候选解，协助alpha狼；omega（ω）狼代表其余的群体。图1展示了狼的行为

不同传递函数下BGWWO的性能

比较了不同传递函数下BGWWO在FS中的性能。表5-7展示了BGWWO使用S形、V形和提出的逆V形传递函数在十个基准数据集上的整体适应度表现。评估考虑了平均适应度值、最佳和最差适应度结果以及多次运行的标准差。

结果表明，提出的逆V形传递函数

结论与未来工作

本研究提出了一种新的MA，BGWWO，用于解决分类任务中的FS问题。这项工作的主要贡献有两个方面：（1）引入了一种新的逆V形传递函数，增强了二进制MA的搜索能力；（2）开发了一个结合GWO和WOA优势的二元混合框架，以提高性能。在UCI机器学习仓库的十个公共数据集上进行的广泛实验表明，BGWWO不仅

未引用的内容

缺少引用：图5、表6和表9。

CRediT作者贡献声明

Joko Siswantoro：概念化、方法论、软件、调查、撰写——审稿与编辑、资金获取。

Jabesh Nehemiah Wijaya：软件、可视化、撰写——初稿。

Vincentius Riandaru Prasetyo：概念化、验证、形式分析、资源。

Heru Arwoko：调查、项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。