《Symmetry》:A Global Unsupervised Feature Selection Method Based on Fuzzy Mutual Information
Haiyan Xu,
Yulin Xie and
Xin Liu
编辑推荐:
本文提出一种基于模糊互信息(UFS-FMI)的全局无监督特征选择方法,以解决传统方法因贪心策略导致的局部最优、对连续数据处理需离散化而造成信息损失等问题。该方法融合模糊集理论与信息度量,构建分数阶优化模型,并结合投影神经网络与k-WTA神经网络实现全局优化。在多个UCI基准数据集上的实验表明,其在分类与聚类任务中性能优越,验证了方法的有效性与鲁棒性。
随着数据维度的快速增长,特征选择已成为提升机器学习性能的关键步骤。然而,现有的无监督特征选择方法大多依赖于贪心策略,容易陷入局部最优解,且传统的信息论方法主要针对离散数据,对连续数据进行处理时需要先离散化,可能导致信息损失。为了应对这些挑战,一篇题为“A Global Unsupervised Feature Selection Method Based on Fuzzy Mutual Information”的研究论文在《Symmetry》上发表,提出了一种新颖的全局无监督特征选择方法。
该研究巧妙地融合了模糊集理论与信息论,以模糊互信息来直接量化连续域中的特征相关性与冗余性,并构建了一个分数阶优化目标函数来平衡这两者。为实现全局优化,研究人员引入了一种结合投影神经网络和k-WTA(k-Winner-Take-All)神经网络的策略。投影神经网络用于求解优化问题,而k-WTA神经网络则能自动从特征权重向量中提取最优特征子集。这种方法不仅能够有效处理连续特征并避免信息损失,还能在无监督条件下对特征的相关性和冗余性进行全局联合优化,从而得到更具判别力的特征子集。该方法在Movement_libras、Ionosphere、Control等多个UCI数据集上进行了验证,在分类准确率、聚类精度和归一化互信息等关键指标上均显著优于现有代表性方法。
关键研究方法概述:
本研究构建了一个分数阶优化目标函数,该函数的核心是提出的基于模糊互信息的特征相关性度量指标J(fi)和特征冗余性度量指标R(fi)。为求解此模型,研究采用了一种混合神经网络求解策略,具体包括:利用投影神经网络求解优化问题,以获得特征权重;继而通过k-WTA神经网络从权重向量中自动识别并选取最重要的特征子集。所有实验均在九个公开的UCI基准数据集上进行,通过与多种现有无监督特征选择方法(如LS、UDFS、MCFS、LLC-fs等)对比,以分类准确率、聚类精度和归一化互信息等指标评估性能。
研究结果:
- 1.
基于模糊信息度量的新指标构建:研究成功地将模糊集理论引入特征选择,定义了基于模糊互信息与模糊信息熵的新特征相关性度量J(fi)和冗余性度量R(fi)。这些指标能够有效刻画连续数据中的模糊性和非线性依赖关系,为后续优化奠定了理论基础。
- 2.
分数阶优化模型与全局优化策略:基于新提出的度量指标,研究构建了一个最大化相关性、最小化冗余性的分数阶目标函数。相较于传统的贪心算法,该模型采用全局优化框架,能够有效避免陷入局部最优,从理论上保证了找到更优特征子集的可能性。
- 3.
混合神经网络求解与特征子集提取:通过集成投影神经网络和k-WTA神经网络,成功求解了所构建的分数阶优化模型。投影神经网络负责高效地找到全局最优的特征权重解,而k-WTA网络则能够根据预设的特征数量k,自动、精确地从连续权重向量中筛选出最重要的k个特征,实现了特征选择的自动化。
- 4.
综合性能评估与验证:在九个UCI基准数据集上的大量实验表明,所提出的UFS-FMI方法在多个评估维度上均表现出色。特别是在Movement_libras、Ionosphere和Control等数据集上,其分类性能提升显著。在聚类任务中,UFS-FMI也 consistently(持续地)取得了更高的聚类精度和归一化互信息值,全面证实了该方法在提升下游机器学习任务性能方面的有效性和鲁棒性。
结论与讨论:
本研究针对现有无监督特征选择方法存在的局限,提出了一种创新的基于模糊互信息的全局优化方法(UFS-FMI)。该方法的主要贡献在于:第一,引入了能够直接处理连续数据模糊性与非线性的新信息度量指标;第二,采用了分数阶优化模型与全局求解策略,克服了贪心方法的缺陷;第三,创新性地结合了投影神经网络与k-WTA神经网络,实现了优化问题的有效求解与特征子集的自动选取。
实验结果表明,UFS-FMI在多种真实数据集上均能稳定地筛选出高质量的特征子集,显著提升了后续分类与聚类模型的性能。这证实了将模糊理论与全局神经优化框架结合用于无监督特征选择的可行性与优越性。该研究不仅为高维数据处理提供了一种强有力的新工具,也为信息论、优化理论与神经网络在特征选择领域的交叉应用开辟了新的思路。未来,可将此框架扩展至半监督或在线学习场景,并探索其在大规模数据及更复杂数据类型(如图像、文本)上的应用潜力。