QLGS：基于Q学习的维度空间搜索方法，用于高效的高维特征选择

《Information Processing & Management》：QLGS: Q-learning guided dimensional space search for efficient high-dimensional feature selection

　　•首个基于强化学习的高维特征选择方法，具备空间导航功能。•一种新型的Q学习引导系统，具有动态划分与边界约束机制。•为优化算法提供有效的维度区域探索手段。•通过全面基准测试展现出更优异的性能。引言在现代数据集中，特征维度的指数级增长已成为机器学习和数据挖掘领域的关键瓶颈，而在基因表达分析、金融分析以及图像识别等领域中，高维数据尤为普遍（Chen, Xue, Zhang, & Zhou, 2020; Kou et al., 2021; Nadimi-Shahraki, Zamani, & Mirjalili, 2022）。这类数据通常包含大量冗余、无关或噪声特征，这些特征会大幅增加计算成本并降低模型性能（Zhang, Yue,& Gao, 2025）。为解决这一问题并提升机器学习模型的效率，研究人员提出了多种降维方法，旨在降低特征维度并提高计算效率。而特征选择作为一种直接识别并保留可解释的原始特征、同时剔除有害特征的技术，便成为了重要的预处理手段。在过滤法、包装法和嵌入法这三种方法中，尽管计算开销较大，但包装法因能够通过集成分类器进行评估而呈现出更优质的子集质量（Zhou, Zhang, Kang, Zhang, & Wang, 2021）。然而，这种优势也带来了根本性的代价——基于包装法的特征选择本质上属于一个相当于NP难问题的n维组合搜索问题（Nssibi, Manita, & Korbaa, 2023）。传统的启发式方法，如顺序向前/向后选择法，受限于局部搜索，无法保证得到全局最优的子集（Yang, Zeng, Pu, & Duan, 2025）。而粒子群优化、差分进化以及遗传算法等元启发式算法则具备更强的全局搜索能力（Maleki, Zeinali, & Niaki, 2021; Paul, Jain, Saha, & Mathew, 2021; Wang, Xue, Liang, & Zhang, 2021）。不过，它们在超高维空间中面临着严重的可扩展性障碍——搜索空间的指数级扩张会导致算法过早收敛，陷入以冗余特征为主的区域（Tang, Liu, & Pan, 2021）。造成这一问题的根本原因在于忽视了维度因素。元启发式算法对所有特征维度一视同仁，缺乏判断哪些维度区域更可能产生高质量子集的机制，从而导致大量搜索资源被浪费在低质量的维度子空间上。近期，强化学习因其能够注入自适应智能而被广泛用于特征选择领域。一些框架将强化学习作为主要的子集生成引擎，通过依次决策添加特征来构建子集（Du et al., 2025; Kim et al., 2024）；还有些框架则将强化学习作为元控制器，用于在现有的元启发式优化器中自适应地选择操作符或调整参数（Li & Ren, 2022; Wei et al., 2025; Yang et al., 2025; Zhang et al., 2025）。这两种方法都在探索深度以及避免过早收敛方面取得了显著成效。但它们都存在一个共同的缺陷：即从未将维度本身视为一种结构化、可学习的状态变量。在现有的基于强化学习的特征选择框架中，强化学习智能体是通过子集级别的统计信息或操作符选择历史来感知世界的，无法明确体现当前搜索集中在维度空间的哪个位置。因此，智能体无法区分那些历史上曾产生过简洁且信息量充足的子集的维度区域与那些没有产生过此类子集的区域，也就无法引导搜索远离特征轴上那些前景不佳的区域。这种缺乏维度意识的问题并非简单的实现细节问题——它意味着强化学习引导方式对于高维特征选择问题来说，所处抽象层次并不合适。正是基于这一观察，本文提出了Q学习引导搜索框架，该框架将特征选择重新定义为马尔可夫决策过程，在强化学习循环中明确纳入维度信息。该框架将n维特征轴划分为K个互不重叠的区间，环境状态由一个得分向量表示，该向量能够反映各个区间内的适应度分布。这一结构上的设计将有效状态空间从O(2n)压缩到O(K)，同时也让强化学习智能体能够学会哪些维度区域能够产生高质量的结果。强化学习智能体会选择结合区间划分策略与降维方法的复合动作，奖励机制则根据所选区间长度与历史上最优维度之间的匹配程度来分配奖励。这一机制能够引导搜索向富有成效的维度区域推进，同时设定动态的下限/上限，防止子集变得过于空虚或过于庞大。由于QLGS仅向基础优化器暴露这一自适应的维度窗口，因此它无需修改任何元启发式算法的内部操作符，即可与各类算法兼容，而这正是基于深度Q网络或多智能体强化学习特征选择方法所不具备的通用性——后者会将策略与特定的子集构建流程紧密绑定。所提出的QLGS框架包含两个层面的学习过程：外层循环的Q学习充当自适应策略选择器，不会直接获取类别标签；内层循环的适应度评估则依赖于在标记数据上训练得到的监督分类器。因此，QLGS在数据需求方面属于监督学习范畴，而在搜索控制方面则借助了强化学习的优势。本研究的主要贡献如下：1）提出了QLGS框架，通过得分向量将维度空间转化为一种明确的、可学习的强化学习状态变量；2）设计了结合区间划分与降维策略的复合动作形式，使强化学习智能体能够学习到最优的维度区域；3）构建了能够将区间特性与历史上最优维度相对应的奖励机制，从而引导高效的探索过程；4）在具有数千个特征维度的数据集上对所提方法进行了测试，结果表明其性能优于包括最新基于强化学习的方法在内的现有最佳方案。本文的其余部分结构如下：第2节回顾了基于进化计算和基于强化学习的特征选择相关研究；第3节详细介绍了所提出的QLGS框架；第4节描述了实验设置并汇报了实验结果；第5节进行了进一步讨论；第6节对全文进行总结。传统特征选择算法根据评估机制的不同，特征选择方法通常被分为三类：过滤法、包装法和嵌入法。这种分类方式至今仍可用于整理近期的高维特征选择研究，而另一种分类标准则是依据是否有标签可用，可分为监督学习、半监督学习和无监督学习场景（Dong et al., 2026; Li et al., 2024）。过滤法无需依赖分类器，即可独立对特征进行评估。所提出的方法特征选择的目标是从n个原始特征中筛选出简洁的特征子集，这样的子集既能保持或提升分类性能，又能最大程度减少冗余。在包装法中，每个候选子集都需要经过监督分类器的评估，优化目标是在分类错误率与子集大小之间找到平衡点。由于搜索空间中存在2?种可能的子集，而精确优化属于NP难问题（Nssibi et al., 2023），因此要找到最优子集在计算上难度极大。数据集我们将在12个公开可用的用于癌症分类的生物微阵列基因表达数据集上测试所提方法的有效性。这些数据集是特意挑选的，涵盖了从2,000到12,625不等的大量高维特征维度，样本量从28到174不等，类别数量从2到11不等，其中比例最小的类别占比仅为3.33%。这些数据集来自不同的来源，具体而言，结肠……讨论为阐明为何所提出的Q学习引导的粒子群优化方法更具优势，我们从以下几个方面进行分析：（1）框架概述与性能总结。实验结果表明，我们的方法通过有效引导优化过程向信息量更丰富的维度区域发展，能够在高维特征选择的难题上展现出更强的优势。与基线方法不同，QLGSPSO始终会趋向于那些具有持续较高得分的维度区间。结论与未来工作在本研究中，我们提出了一种基于Q学习的维度空间引导搜索框架，旨在提升高维特征选择中智能优化算法的效率与性能。通过将搜索过程建模为马尔可夫决策过程，并整合维度划分与降维策略，QLGS能够自适应地引导算法向具有潜力的特征区域前进。实验结果表明，QLGSPSO在分类任务上取得了更优的性能。数据可用性支持本研究结果的代码可在https://github.com/nanami9426/QLGSPSO地址获取。伦理声明作者保证本手稿为原创内容，尚未发表，且在审稿期间也不会提交至其他期刊发表。资金声明本研究得到了国家自然科学基金重点项目（编号72334004）、广东省哲学社会科学规划项目（编号GD25YGG25）以及深圳市科技计划项目（编号JCYJ20250604182425034）的支持。CRediT作者贡献说明王洪：撰写——初稿、验证、监督、方法设计、资金获取、概念构思。苏耀发：撰写——初稿、验证、方法设计、概念构思。王静怡：撰写——审阅与编辑、验证、方法设计。张文帅：验证、软件开发。牛斌：撰写——审阅与编辑、监督、资金获取。王洪|苏耀发|王静怡|张文帅|牛斌