《Scientific Reports》：A quantum computing-based approach for feature selection in regression models
编辑推荐：
特征选择（Feature Selection, FS）是一种重要的数据预处理技术，旨在为预测模型识别最相关的特征。然而，传统的FS方法往往难以捕捉真实世界数据集中的复杂交互，限制了其充分支持高性能机器学习（Machine Learning, ML）模型的能力。
特征选择（Feature Selection, FS）是一种重要的数据预处理技术，旨在为预测模型识别最相关的特征。然而，传统的FS方法往往难以捕捉真实世界数据集中的复杂交互，限制了其充分支持高性能机器学习（Machine Learning, ML）模型的能力。本研究提出了一种与量子退火（Quantum Annealing, QA）兼容的、基于二次无约束二元优化（Quadratic Unconstrained Binary Optimization, QUBO）的回归FS公式，通过混合线性与二次系数来建模线性和非线性特征依赖。利用三个数据集（Wine Quality、Insurance和Bike Sharing System, BSS），研究人员在多种预测模型上评估了该方法，以检验其稳健性和泛化能力。结果表明，该方法具有有竞争力的预测性能，并且在多种设置下，比互信息（Mutual Information, MI）和MI_QC基线产生了更紧凑的特征子集。本研究对以往基于QUBO的FS方法进行了方法论上的改进，并通过统计上稳健的基准测试证明了其实用适用性。
**研究背景与问题**
特征选择（Feature Selection, FS）是数据预处理中的关键步骤，旨在识别与预测模型最相关的特征子集，以提升模型性能、降低计算成本。然而，传统FS方法（如过滤式、包裹式和嵌入式）在面对高维数据中复杂的非线性交互时往往力不从心，且穷举搜索因组合爆炸而不可行。量子计算（Quantum Computing, QC），特别是量子退火（Quantum Annealing, QA），因其能够探索大规模解空间并逃离局部最优，为求解组合优化问题提供了新范式。然而，现有基于量子或量子启发的FS方法多针对分类问题设计，且仅依赖互信息（Mutual Information, MI）或冗余度惩罚，未能显式优化回归指标（如\(R^2\)、均方根误差RMSE），也未系统评估其在多回归模型和数据集上的表现。因此，本研究旨在提出一种面向回归的、模型感知的QA兼容FS公式，以弥补上述空白。
**研究内容与结论**
研究人员提出了一种新的基于QUBO的FS成本函数，其线性系数由MI与\(R^2\)的乘积构成，二次系数基于\(R^2\)变化和RMSE的动态缩放机制，从而在统一框架中联合建模特征与目标的相关性以及特征间的冗余性，并显式融入回归性能指标。该方法在Wine Quality（1599样本，11特征）、Insurance（1338样本，7特征）和Bike Sharing System（BSS，283919样本，2689特征；实验采用500特征版本）三个数据集上，结合线性回归、随机森林和XGBoost三种目标模型进行了验证。结果显示，所提方法在五种评估指标（RMSE、\(R^2\)、MAE、MedAE、MSLE）上均能取得与现有方法相当或更优的性能，尤其在较小的特征子集下表现出明显优势。与MI_classic和MI_QC基线相比，该方法能选择更紧凑且信息量更丰富的特征子集，并在统计检验（Friedman检验与Conover事后检验）中显示出显著差异。此外，与经典包裹式方法递归特征消除（Recursive Feature Elimination, RFE）的对比实验表明，所提方法在平均误差指标上更具竞争力；消融实验证实了MI与\(R^2\)混合线性系数的有效性。该研究为QA在回归FS中的应用提供了方法论改进和实证支持。
**关键技术与方法**
本研究采用D-Wave量子退火硬件和混合量子-经典求解器。核心技术包括：将FS问题构建为二元二次模型（Binary Quadratic Model, BQM）并转化为QUBO形式；定义线性系数为负的MI乘以单特征\(R^2\)，以同时捕捉统计相关性和预测可用性；定义二次系数为基于双特征\(R^2\)相对增益与RMSE的分段函数，以自适应奖励互补特征对并惩罚冗余组合。实验采用固定训练-测试划分（随机种子42）和5折交叉验证，并通过100次QPU采样和最多3次迭代来稳定结果。样本队列来源为UCI机器学习库的Wine Quality数据集、保险数据集以及多伦多BSS与人口普查数据融合后的增强数据集。
**研究结果**
*RMSE与\(R^2\)分析*：在Wine Quality数据集上，Linear_QC方法取得最低RMSE（约0.62293），而Pearson_QC方法取得最高\(R^2\)（约0.762303），表明所提方法在不同配置下均能有效提升回归精度。
*MAE与MedAE分析*：Linear_QC在MAE上取得最佳值（0.502979），MedAE最优值由Pearson_QC取得（约0.426342），表明方法对异常值具有较好的稳健性。
*MSLE分析*：XGBoost_QC在MSLE上取得最低值（约0.008886），说明该配置在处理目标值跨数量级的数据时优势明显。
*特征子集紧凑性*：所提方法在较小特征数下即可达到与基线方法相当的误差水平，例如在MSLE上，所提方法以更少的特征达到相同精度，而MI_QC需要更多特征才能获得类似结果。
*统计显著性分析*：Friedman检验显示，在特征数为3和4时，所提方法与MI_classic和MI_QC存在显著差异；随着特征数增加至7–8，差异减弱；特征数达到9时无显著差异，符合方法收敛规律。
*与RFE对比*：在所有特征子集大小下，Linear_QC的平均MAE（0.494041）均低于Linear RFE（0.508858），且平均\(R^2\)更高，表明该公式相对于传统包裹式方法更具优势。
*消融实验*：在BSS数据集上，MI×\(R^2\)混合线性系数在所有五个指标上均优于仅使用\(R^2\)的版本（如平均RMSE从7.913115降至7.909303），证实了MI的增量贡献。
*运行时分析*：Q矩阵构建时间随特征数呈近似二次增长（\(O(F^2 \cdot N)\)），而QPU访问、编程等量子端指标对问题规模不敏感，表明嵌入约束满足时QA具有扩展潜力。
**讨论与结论**
讨论部分指出，所提方法是一种模型感知的混合QUBO框架，兼具过滤器的特征得分机制与包裹式的模型依赖特性，但不同于RFE的迭代拟合，它通过单特征和双特征预测评估构造二次代理目标，再进行组合优化。统计检验证实，在小特征子集情形下，所提方法与常规方法存在可区分的性能边界，这正是特征选择最关键的场景。当前硬件（如Chimera和Pegasus图结构）的嵌入容量限制了可求解问题的规模，但混合量子-经典求解器缓解了该约束。结论部分强调，QA集成的FS方法被证明是一种稳健且有效的方法，优于传统方法；所提方法能以更少的特征实现更高的预测精度，降低了计算复杂度，适用于大规模数据挖据和机器学习任务，并在制造业、保险风险评估、交通分析和质量监控等领域具有实际应用前景。未来工作将聚焦于改进方法并探索其在实时数据处理场景中的适用性。
