一种基于特征数量寻找特征提取方法与机器学习算法之间最佳匹配的算法

《Engineering Applications of Artificial Intelligence》：An algorithm for finding the best match between feature extraction methods and machine learning algorithms based on the number of features

　　

摘要

基于机器学习的分析已成为支持医学影像诊断的重要方法，特别是在胸部X光图像分类方面。本研究提出了一种基于特征选择的自动特征选择与分类器匹配算法，用于基于特征的X光图像分类。本研究使用了包含317张胸部X光图像的数据集，其中包括137例COVID-19病例、90例正常病例和90例病毒性肺炎病例。每幅图像均通过多域特征提取策略进行处理，该策略涵盖了统计特征、基于灰度共生矩阵的纹理特征、基于离散小波变换的特征、基于经验模态分解的特征以及基于短时傅里叶变换的时频特征。使用五种不同的特征选择方法来挑选重要特征：自编码器、Lasso、互信息、递归特征消除和极限梯度提升。所选特征使用六种机器学习算法进行评估：决策树、随机森林、K近邻、朴素贝叶斯、支持向量和多项式逻辑回归。该算法通过五折交叉验证系统地评估不同的特征选择与分类器组合，并根据分类性能、所选特征数量和计算时间识别合适的配置。实验结果表明，随机森林和K近邻在多种特征选择设置下均取得了较高的分类性能。决策树使用Lasso和互信息选择的70个特征取得了98.96%的准确率。支持向量机使用自编码器选择的65个特征取得了99.74%的准确率，而多项式逻辑回归使用55个特征达到了96.62%。朴素贝叶斯的最佳结果（91.17%）是使用Lasso选择的15个特征获得的。在效率方面，自编码器的运行时间最短（13.6秒），而极限梯度提升最慢（106.2秒）。

引言

COVID-19的全球影响促使研究人员开发快速、准确且自动化的诊断工具，以支持临床决策。在这些工具中，胸部X光（CXR）成像仍然是一种广泛可用且具有成本效益的成像方式，尤其是在资源有限的情况下（Apostolopoulos and Mpesiana, 2020; Ozturk et al., 2020）。然而，准确解读CXR图像需要专业知识，且容易出现观察者间差异，这促使人们使用基于人工智能（AI）的分析系统（Wang et al., 2020）。最近的研究表明，多域特征提取通过捕获图像内容的不同方面，显著提高了机器学习（ML）模型在医学影像分析中的性能（Alghamdi et al., 2021; Heidari et al., 2022; Sayed et al., 2021）。例如，基于灰度共生矩阵（GLCM）的纹理描述符已被证明能有效区分病理性组织和正常组织（Jeslin Shah and Sankar, 2023; Shati et al., 2025），而基于频率的表示方法，如离散小波变换（DWT）和经验模态分解（EMD），已成功用于捕获不同尺度上的细粒度结构信息（Cheng et al., 2025; Shati et al., 2025）。另一方面，短时傅里叶变换（STFT）能够实现局部时频分析，对于检测放射图像中的细微变化特别有用（Khoria and Singh, 2025）。在（Jeslin Shah and Sankar, 2023）中，从CXR肺部区域提取的GLCM纹理特征被用于区分COVID-19病例和正常图像。当与传统的分类器结合时，支持向量机（SVM）取得了最高性能，准确率达到了97%，突显了纹理特征在COVID-19检测中的有效性（Shati et al., 2025）。一项研究提出了一种混合分类模型（Res-WG-KNN），该模型将基于小波和GLCM的特征与改进的ResNet-50及软投票集成相结合。该模型在RSNA数据集上取得了97.0%的准确率（AUC = 0.97），在Kermany数据集上取得了99.0%的准确率（AUC = 0.99），展示了多域特征融合在利用CXR图像进行肺炎分类中的有效性。在（Avu?lu, 2022a）中，应用了一种新的预处理技术来减小图像尺寸并提取基于RGB的特征。评估了多种分类器（MC），包括MC-SVM、K近邻（KNN）、决策树（DT）、多项式逻辑回归（MLR）和朴素贝叶斯（NB），测试准确率范围为85.7%至93.9%，其中MC-SVM和朴素贝叶斯表现最高。在（Avu?lu, 2022a）中，从800×800标准化的CXR图像中提取的基于RGB的特征被用于使用五种机器学习算法对COVID-19和正常病例进行分类。其中，多项式逻辑回归（MLR）取得了显著改善，应用所提出的优化方法后，其测试准确率从91.8%提高到了98.0%。其他模型如k-NN和SVM也产生了较高的性能，准确率分别为85.7%和89.8%，突显了基于特征的机器学习方法在有效诊断COVID-19方面的潜力。这些发现强调了轻量级、机器学习驱动的诊断工具在支持COVID-19早期和准确检测方面的潜力。最近的医学诊断研究强调了预处理、特征质量、优化和分类器选择对于提高模型可靠性和鲁棒性的重要性。例如，（Dhanka et al., 2026）证明了结合预处理策略、优化和异构分类器对于心脏病诊断的好处。

在本研究中，进行了多维特征提取过程，以从CXR图像中获得不同的特征。从每幅图像中计算各种特征，包括统计特征、纹理特征、时频特征和基于频率的特征，然后将这些特征组合成单一数据集。首先，从灰度像素值中计算基本的统计特征，如均值、标准差、熵、偏度和峰度。然后，使用GLCM方法在四个不同方向（0°、45°、90°和135°）上获取对比度、相关性、能量和同质性等纹理特征，并计算其平均值。在基于频率分析的范围内，对图像应用三级Haar小波变换，从每一级获得的LL（近似）、LH、HL和HH（细节）分量中提取均值、标准差、熵和能量值。此外，从使用EMD方法获得的固有模态函数（IMF）分量中计算能量、均值和标准差等特征。对于时频分析，使用三种不同的窗口大小（32、64、128）和16像素的重叠率应用STFT。对每个窗口提取基于频率的特征，如频谱能量、主导频率和最大频率分量。通过这种多尺度方法在不同分辨率级别进行分析。经过这一整个过程，为每幅图像创建了高维特征向量，这些向量作为输入提供给特征选择算法。在此背景下，所提出的算法采用了五种不同的特征选择方法，包括自编码器、Lasso、互信息（MI）、递归特征消除（RFE）和极限梯度提升（XGBoost），从数据集中选择最有意义的特征。所选特征使用六种不同的机器学习算法进行测试：决策树、随机森林、K近邻、朴素贝叶斯、支持向量和多项式逻辑回归。自动确定最高的准确率。模型验证过程使用五折交叉验证进行，所有值为固定值的特征在预处理阶段被自动消除。

所提出算法对文献的贡献可总结如下：

• •
  通过将统计特征、基于纹理的特征、频域特征、分解特征和时频特征相结合，对CXR图像应用了多域特征提取策略。
• •
  在同一个评估算法中系统地评估了五种特征选择方法，包括自编码器、Lasso、互信息、递归特征消除和XGBoost。
• •
  使用所选的特征子集对六种机器学习分类器进行了比较，以确定最有效的特征选择-分类器组合。
• •
  该算法评估分类性能的同时考虑所选特征数量和总计算时间。
• •
  使用小型医学图像数据集分析了特征减少对模型复杂度、计算成本和可解释性的影响。
• •
  使用额外的基准数据集考察算法在不同特征维度、样本量和类别结构下的表现。
• •
  本研究的主要目标是系统地评估特征选择-分类器配置，并通过考虑所选特征数量、分类性能和总计算时间来识别合适的配置。

在本研究中，总计算时间（TOC）表示每种特征选择-分类器配置在训练和测试阶段所需的总运行时间。相应地，所提出的算法旨在通过自动识别在分类准确率和计算效率方面最合适的配置来减少重复的人工测试。通过使用最有信息量的特征子集，该算法可以在提高分类性能的同时减少不必要的计算成本。

章节摘要

数据收集与特征提取

本研究共使用了317张胸部X光图像，其中包括137例COVID-19病例、90例正常病例和90例病毒性肺炎病例，全部来源于Joseph Cohen博士整理的公开GitHub仓库（Cohen et al., 2020a, 2020b）。数据集被组织为三个诊断类别。类别1为COVID-19病例（137张图像），包括显示与冠状病毒感染相关的放射学发现的胸部X光图像。类别2为正常病例（90

实验结果与讨论

在本研究中，使用了五种不同的特征选择算法——自编码器、Lasso、互信息（MI）、递归特征消除（RFE）和XGBoost——配合六种机器学习分类器：决策树（DT）、随机森林（RF）、K近邻（KNN）、朴素贝叶斯（NB）、支持向量机（SVM）和多项式逻辑回归（MLR）。首先，使用多种特征提取技术从COVID-19胸部X光图像中提取特征。这些特征

结论与未来工作

数据处理阶段是科学研究的关键组成部分，它直接影响分析流程的准确性和效率。处理冗余或无信息的特征可能导致计算负载增加和模型性能下降。本研究提出了一种基于特征分类的自动特征选择与分类器匹配算法。所提出的算法评估不同的特征选择方法和机器学习

CRediT作者贡献声明

Emre Avu?lu：概念化、形式化分析、调查研究、方法论、软件、验证、可视化、撰写—原始草稿、撰写—审阅与编辑。Filiz Sar?：数据管理、调查研究、方法论、资源、可视化、撰写—原始草稿、撰写—审阅与编辑。

利益冲突声明

作者声明不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

Emre Avu?lu|Filiz Sar?

土耳其阿克萨赖大学工程学院软件工程系