通过双向重构实现联合样本特征子空间学习以进行特征选择

《Neurocomputing》:Joint sample-feature subspace learning via bidirectional reconstruction for feature selection

【字体: 大 中 小 】 时间:2026年05月13日 来源:Neurocomputing 6.5

编辑推荐:

  Morteza Maleknia|Farid Saberi-Movahed|Majid Soleimani-damaneh伊朗伊斯法罕科技大学数学科学系,伊斯法罕 84156-83111摘要子空间学习通过识别能捕捉数据中最重要模式的低维结构,为分析高维数据提供了一种强大的方法。然

  
Morteza Maleknia|Farid Saberi-Movahed|Majid Soleimani-damaneh
伊朗伊斯法罕科技大学数学科学系,伊斯法罕 84156-83111

摘要

子空间学习通过识别能捕捉数据中最重要模式的低维结构,为分析高维数据提供了一种强大的方法。然而,许多现有方法忽略了特征和样本所扮演的雙重角色,导致生成的表达未能捕捉到有效特征选择和表示学习所需的重要的联合依赖性。为了解决这一限制,我们提出了一个统一的框架,称为联合样本-特征子空间学习 via 双向重构用于特征选择(JSF-BRFS)。该模型提出了一个联合优化问题,在双向重构方案下同时学习样本级和特征级的表示。JSF-BRFS整合了两个互补的自表示过程——一个在特征域中,另一个在样本域中——并通过对称的跨空间耦合来强制它们的潜在子空间之间保持一致性。为了提高表示质量,我们进一步引入了结构约束,以促进独立性、可解释性和在所学基础中的局部性保持。为了高效解决这一非凸优化问题,我们开发了一个顺序非光滑编程算法,该算法可以为相应的惩罚问题找到Karush-Kuhn-Tucker点。在多个基准数据集上进行的全面实验表明,JSF-BRFS在聚类准确性和特征选择性能方面一致性地超越了现有的最先进方法。

引言

子空间学习通过揭示捕捉最有益变化的低维结构,为分析高维数据提供了一个原理性的框架[1]。通过将数据投影到一个紧凑的子空间上,它减少了冗余和非信息性成分,同时保留了关键信息,这对于特征提取[2]和特征选择[3]等任务特别有价值。在不同的特征选择类型中——有监督的[4]、无监督的[5]和半监督的[6]——无监督特征选择受到了特别关注,因为它无需标签信息,仅依赖于数据的内在几何结构和统计依赖性[7]。这使得它特别适合于标签样本稀缺或获取成本高昂的实际问题[8]。在这个背景下,子空间学习作为一个自然的基础,因为它在识别最具代表性的特征的同时,同时捕捉数据的整体结构和局部流形[9]。
在过去的十年中,基于子空间学习的方法被提出用于无监督特征选择,这些方法受到了矩阵分解、自表示学习和流形保持原则的启发[10]。基于矩阵分解的方法,如非负矩阵分解(NMF)及其变体,旨在发现增强可解释性的基于部分的表示[11]。基于自表示的方法,包括稀疏子空间聚类(SSC)[12]和低秩表示(LRR)[13],通过将每个样本表达为其他样本的线性组合来学习数据亲和结构[14]。同时,流形学习方法保留了局部邻域结构,以更好地捕捉非线性数据几何形状。这些框架通过将特征选择与潜在子空间的发现联系起来,显著推进了该领域的发展,生成的表示比传统的特征排序或基于过滤的方法更加一致和具有结构性意义[15]。
尽管这些方法取得了成功,但它们面临几个固有的挑战。大多数基于子空间学习的特征选择方法仅专注于特征空间或样本空间,忽略了它们之间的内在二元性。这种片面的视角往往导致表示不完整,无法捕捉特征和样本之间的跨域依赖性。此外,许多现有方法依赖于外部构建的相似性图或手动调整的邻域参数,这些可能无法准确反映数据内的内在关系。受这些挑战的启发,我们的目标是设计一个统一的、无图的框架,共同探索样本和特征之间的相互依赖性,从而实现更可解释和具有局部意识的子空间表示。
为了解决这些限制,我们提出了一种称为联合样本-特征子空间学习 via 双向重构用于特征选择(JSF-BRFS)的新框架。该模型在单一的统一公式中同时学习样本级和特征级的表示。它执行两个互补的重构过程:一个用于捕捉特征之间的关系,另一个用于模拟样本之间的依赖性。双向一致性机制使这两个领域对齐,确保从特征和样本学到的表示在结构和意义上是一致的。与许多现有方法不同,JSF-BRFS不依赖于任何预定义的相似性图或外部邻域结构。相反,它通过共同强制执行正交性和非负性来实现内在的局部性保持,这自然地限制了模型学习独立、可解释和基于部分的组件。因此,所提出的框架提供了一个无图但具有局部意识的解决方案,有效地捕捉了数据的双重几何形状,同时保持了可解释性。本工作的主要贡献总结如下:
  • •
    开发了一个联合子空间学习模型,同时探索样本和特征域,使得特征选择更好地反映了样本和特征之间的内在关系。
  • •
    一种耦合策略确保了样本级和特征级子空间之间的对齐,促进了潜在表示之间的结构和相互对齐。
  • •
    通过结合正交性和非负性约束,所提出的模型实现了局部性和可解释性,而不需要任何预定义的相似性图或外部度量。
  • •
    提出了一种基于顺序非光滑编程(SNP)的优化算法,有效地处理了由此产生的非凸优化问题,并证明了所提优化过程的任何极限点都是主要优化问题的惩罚形式的Karush-Kuhn-Tucker(KKT)点。
  • •
    全面的技术收敛结果表明,所提出的优化过程收敛到了KKT点,并证明了其在各种数据集上的良好数值行为。
本文的其余部分组织如下。第2节回顾了子空间学习和特征选择的相关工作。第3节介绍了JSF-BRFS框架及其理论基础。第4节介绍了JSF-BRFS的优化程序,并提供了相应的收敛性分析。第5节报告了广泛的实验结果和与最先进方法的比较。最后,第6节总结了本文并讨论了未来研究的潜在方向。

章节片段

相关工作

无监督特征选择的研究越来越多地倾向于子空间学习方法,其中许多方法基于四个密切相关的原则:矩阵分解、自表示学习、流形保持和基于自编码器的学习[10]。这些原则旨在揭示嵌入在高维数据中的信息丰富的低维结构,从而选择反映内在几何或统计模式的特征。

方法论

本节介绍了所提出方法联合样本-特征子空间学习 via 双向重构用于特征选择(JSF-BRFS)背后的主要思想和公式。JSF-BRFS的核心思想是在一个单一的学习模型中研究特征和样本之间的关系。大多数现有的子空间学习方法只关注数据的一个方面。有些方法在特征空间中操作以捕捉特征之间的相关性,而其他方法则在

JSF-BRFS的优化

本节描述了JSF-BRFS的优化框架。首先介绍了基本概念和问题公式,然后解释了目标函数结构。接着介绍了解决非光滑子问题和计算梯度的过程。随后概述了主要算法,总结了整个优化过程。最后提供了收敛性分析,以证明其主要理论属性

实验分析

本节对所提出的JSF–BRFS框架进行了全面的实验评估。我们首先介绍了研究中使用的数据集,然后介绍了竞争性的特征选择方法和所有评估采用的实验设置。然后分析了聚类性能,研究了选定特征数量变化的影响,并研究了模型对关键超参数的敏感性。提供了定性可视化来说明

结论

在这项工作中,我们介绍了JSF-BRFS,这是一个通过双向线性重构共同建模特征级和样本级结构的统一子空间学习框架。通过制定两个互补的单边投影并通过对称一致性约束将它们耦合起来,JSF-BRFS同时保留了特征之间的相关性、样本之间的亲和性以及它们的跨域对齐。正交性和非负性进一步产生了可解释的、局部的和

CRediT作者贡献声明

Morteza Maleknia:撰写——原始草稿、方法论、调查、形式分析、概念化。Farid Saberi-Movahed:撰写——原始草稿、方法论、调查、形式分析、概念化。Majid Soleimani-damaneh:撰写——原始草稿、方法论、调查、形式分析、概念化。

利益冲突声明

作者声明他们没有已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

致谢

最后一位作者(M. S.-D.)感谢伊朗国家科学基金会(INSF)在项目编号4031505下的支持。我们还要感谢ChatGPT在提高手稿中英语表达以及协助调试LaTeX代码方面的帮助,这些帮助没有影响科学内容。
Morteza Maleknia在伊朗德黑兰Amirkabir大学的数学与计算机科学系获得了博士学位。目前,他是伊朗伊斯法罕科技大学数学科学系的助理教授,地址为伊斯法罕84156-83111。他的研究兴趣包括优化中的数值方法,特别关注非光滑优化问题。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号