通过双重稀疏性约束优化增强无监督特征选择

《Knowledge-Based Systems》：Enhancing unsupervised feature selection via double sparsity constrained optimization

　　

摘要

无监督特征选择（UFS）在机器学习和模式识别中得到广泛应用。然而，大多数现有方法仅考虑单一稀疏性，这使得从原始高维特征集中选择有价值的判别性特征子集变得困难。本文提出了一种简单而有效的UFS方法，称为DSCOFS，通过将双重稀疏约束优化嵌入经典的主成分分析（PCA）框架来实现。双重稀疏性是指使用?2,0-范数和?0-范数同时约束变量，通过添加不同类型的稀疏性，达到提高差异特征识别精度的目的。其核心在于，?2,0-范数可以去除不相关和冗余的特征，而?0-范数可以过滤出不规则噪声特征，从而补充?2,0-范数以提高判别性。在算法方面，我们开发了一种高效的近端交替最小化方案来解决由此产生的非凸非光滑模型。在理论上，我们严格证明了由我们的算法生成的序列全局收敛到一个驻点。在两个合成数据集和八个真实世界数据集上的数值实验证明了所提方法的有效性、稳定性和收敛性。

引言

作为流行的降维方法，特征选择已成为机器学习、模式识别和图像处理中的重要技术。特征选择旨在消除冗余、不相关和噪声特征，从而减少训练时间并增强可解释性[1]。然而，现实世界的高维数据通常缺乏标签[2]。幸运的是，无监督特征选择（UFS）的出现吸引了大量关注，因为它能够在不依赖标签的情况下选择最具代表性的特征。如今，UFS已成功应用于许多领域，从图像分类[3]到遥感[4]、无线通信[5]和生物工程[6]。感兴趣的读者可以参阅优秀的综述文献[7]。

在过去几十年中，提出了并研究了大量基于谱分析的UFS方法，其中代表方法包括但不限于拉普拉斯分数（LapScore）[8]、无监督判别特征选择（UDFS）[9]、结构化最优图特征选择（SOGFS）[10]、[11]，以及鲁棒邻域嵌入（RNE）[12]。然而，这些基于谱的方法的性能往往受到高维空间中构建的图的影响，这使得它们对冗余和噪声特征敏感，并且随着样本数量的增加，计算成本大幅增加。

为了解决上述问题，主成分分析（PCA）和稀疏主成分分析（SPCA）[13]在UFS领域得到了越来越多的研究。例如，Chang等人[14]通过引入?2,1-范数来衡量损失和正则化，构建了一个有效的凸SPCA模型。Yi等人[15]提出了自适应加权SPCA，以从噪声数据中鲁棒地选择显著特征。最近，Li等人[16]考虑了?2,??-范数（0
实际上，?2,0-范数及其松弛形式仅代表一种结构稀疏性。它们只能处理特征之间的不相关性和冗余性。然而，当数据表现出元素级稀疏性（由?0-范数指示）时，这可能导致特征选择效果不佳，进而产生糟糕的聚类结果[29]。尽管一些研究已将双重稀疏性应用于信号恢复[30]，但它们并不约束于同一变量。值得注意的是，在脑成像预测因子识别[31]和基因表达[32]的已成功研究中有过先例，其中将?2,1-范数和?1-范数正则化纳入目标函数对同一变量进行了研究。事实上，?2,0-范数和?0-范数约束在确定稀疏性方面比正则化和松弛方法更为灵活和准确[33]，允许直接访问所需的特征而无需计算变换矩阵得分[34]。因此，一个自然的问题是，是否可以将原始的双重稀疏约束（即?2,0-范数加?0-范数）集成到PCA框架中以进行更好的特征选择？

本文提出了一种新颖的UFS方法DSCOFS，借助双重稀疏约束优化，其中?2,0-范数确保全局结构稀疏性并具有更好的可解释性，而?0-范数考虑数据元素的局部个体稀疏性。如图1所示，双重稀疏性不仅能去除不相关和冗余特征，还能选择更具代表性的特征。事实上，双重稀疏性可以被视为弥合单一稀疏性与实际稀疏性之间差距的一种尝试。

本文的主要贡献可归纳为以下四个方面：

• 我们建立了一种新颖的双重稀疏约束PCA，结合了?2,0-范数和?0-范数用于UFS，此前尚未得到充分研究。与现有的单一稀疏约束和正则化PCA不同，双重稀疏性能够获得更具判别性的特征，使我们提出的DSCOFS在面对具有不同结构特征的复杂数据时表现更优。

• 我们开发了一种近端交替最小化算法，结合精确惩罚函数方法和硬阈值算子来解决模型。所有子问题都具有闭式解或可通过快速求解器计算，从而提供了高效的优化策略。

• 我们证明经过有限次迭代后，所开发算法的目标函数严格非递增，这与大多数文献中的结论相似。我们进一步严格证明了生成的序列全局收敛到一个驻点。

• 我们定义了一个新的指标，称为特征相似度比率（FSR）。如表4所示，我们提出的DSCOFS提取的特征与仅使用单一?2,0-范数提取的特征不同，甚至在Isolet数据集上仅具有52%的相似度。此外，事后检验验证了我们提出的DSCOFS与其他比较方法存在显著差异。

本文其余部分组织如下：第2节介绍符号和相关工作。第3节给出我们的数学模型及优化算法。第4节提供收敛性分析和复杂度分析。第5节评估所提方法的有效性和优越性。第6节给出结论和未来的工作。

预备知识

本节首先提供了一些必要的符号，然后描述了关于SPCA的相关工作。

所提出的方法

本节首先介绍我们的数学模型，然后详细呈现设计的优化算法，最后给出收敛性分析和复杂度分析。

理论分析

在本节中，我们将为算法1建立收敛性和复杂度分析。

数值实验

本节通过将所提出的DSCOFS与基准方法进行比较，验证了其有效性和优越性，包括LapScore（2005）[8]、UDFS（2011）[9]、SOGFS（2019）[10]、RNE（2020）[12]、FSPCA（2023）[20]、SPCAFS（2023）[16]和SPCA-CL（2024）[28]。特别地，LapScore、UDFS、SOGFS和RNE使用Auto-UFSTool实现，FSPCA、SPCAFS和SPCA-CL使用...

结论

在本文中，我们提出了一种新颖的双重稀疏约束PCA模型，通过整合?2,0-范数和?0-范数约束，可以从无标签数据集中选择信息性特征。通过利用双重稀疏性，我们可以在变换矩阵中促进稀疏性以过滤掉冗余和不相关的特征，从而实现更准确和有效的特征选择。此外，我们开发了一种收敛的优化方案，结合了精确惩罚函数...

CRediT作者贡献声明

Xinrong Li：写作 – 审阅与编辑，方法论，概念化。Chenyi Huang：可视化，软件。Anning Yang：写作 – 原始草稿，数据管理。Xianchao Xiu：写作 – 审阅与编辑，监督，形式分析。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所述工作。

致谢

作者感谢哈尔滨工程大学杨明教授分享其代码。本工作部分由国家自然科学基金（12371306, 12501420）和111计划（B16009）资助。

Xinrong Li | Chenyi Huang | Anning Yang | Xianchao Xiu