基于张量的具有共识学习和多样性保持表征的无监督多视图特征选择

《Neurocomputing》：Tensor-based unsupervised multi-view feature selection with consensus learning and diversity-preserving representation

　　

摘要：多视图特征选择在高维数据分析中起着至关重要的作用，旨在从多个视图中提取最具判别力的特征。然而，现有的无监督多视图特征选择方法往往只关注视图间的一致性而忽略各视图中包含的独特信息，或过度强调个性化特征而牺牲多视图融合能力。此外，由于不同视图间特征分布和数据结构的差异，直接在原始特征空间进行特征选择往往无法有效捕捉数据的潜在结构，这是次优选择。为了解决这些问题，本文提出了一种基于张量的具有共识学习和多样性保持表示的无监督多视图特征选择方法（TUFSCD），以联合建模不同视图的一致性和独特性。为确保视图间一致性，我们利用保持数据流形结构的拉普拉斯图，强制同类样本的嵌入结果在不同视图中保持一致。为量化和优化视图多样性，我们引入希尔伯特-施密特独立性准则（HSIC）并最小化HSIC以衡量和增强视图间的互补性，这鼓励每个视图贡献非冗余信息，从而防止信息冗余和模态坍缩。所提框架在统一模型中整合这些过程，并使用交替方向乘子法（ADMM）高效优化。在八个基准数据集上的大量实验表明，TUFSCD始终优于代表性的最先进无监督多视图特征选择方法。源代码公开可用，见https://github.com/coder-JiangJianjun/TUFSCD。

引言：多视图学习通过整合不同模态或视图的数据来增强模型的学习能力和泛化性能。它在计算机视觉、自然语言处理、生物医学和社会网络分析等多个领域有着广泛应用。根据具体任务不同，多视图学习可应用于有监督、半监督和无监督学习。其中，无监督学习因能在无需标注信息的情况下自动发现数据内在结构而受到极大关注。

在无监督多视图学习中，多视图聚类（MVC）已成为突出研究方向，旨在充分利用不同视图间的互补信息和一致性约束以提高聚类性能。近年来，多视图聚类技术得到广泛发展，因能以无监督方式有效整合和分析多视图数据。与单视图聚类方法相比，多视图聚类能更全面地捕捉数据本质特征，从而提高聚类质量和模型鲁棒性。因此，该技术已被广泛应用于图像聚类、动作分割和视频摘要等实际场景，显著提升了数据分析和处理的准确性与效率。

最早的多视图聚类方法是对传统单视图聚类技术的简单扩展，如K-means、谱聚类和层次聚类。基于特征拼接的方法直接拼接多视图特征然后应用标准聚类算法。Bickel等人[1]提出一种方法，将视图划分为两个独立子集，允许每个子集分别学习，同时将视图视为这两个子集的组合。然而，这种方法忽略了视图间差异，可能导致某些视图中的重要信息被抑制或引入冗余特征。

为解决简单拼接导致的信息冗余问题，研究者引入了基于矩阵分解的技术[2]，将多视图数据投影到低维子空间中执行聚类。这些方法的核心思想是将所有视图映射到共享低维子空间并在其中进行聚类。Liu等人[3]提出一种基于非负矩阵分解（NMF）的新型多视图聚类算法，通过联合矩阵分解过程确保各视图的聚类解收敛到共同共识。研究者设计了有效归一化策略以确保不同视图间可比性，从而提升聚类性能。

尽管矩阵分解方法能学习共享低维子空间[4]，但难以捕捉复杂非线性关系。为克服此局限，提出了基于子空间学习的技术。低秩子空间学习方法假设高维数据表示位于低秩子空间中，并优化该子空间表示用于聚类。Gao等人[5]引入一种多视图子空间聚类方法，通过学习多视图上的共享低维子空间提高聚类性能。研究者开发了新算法，同时整合多视图信息，从而提升聚类准确性和鲁棒性。为保持数据局部几何结构，研究者提出基于拉普拉斯图的多视图聚类方法[6]，在不同视图上构建拉普拉斯图并利用图结构信息聚类。Kumar等人[7]提出一种共同正则化多视图谱聚类方法，利用多视图信息并通过共同正则化改进聚类性能。该方法在多个数据集上验证了有效性，展示了其处理多视图数据的优势。近年来，随着深度学习发展，多视图聚类开始利用基于深度神经网络（DNN）的方法[8]进行自动化特征学习和聚类任务。这些方法的原理是采用多个自编码器为不同视图学习嵌入表示并在共享子空间中聚类。Xu等人[9]提出一种多视图完整空间学习方法，旨在通过学习完整空间同时考虑多视图信息。研究者设计了新算法以确保各视图在该空间中的完整性得到保持，从而提升聚类性能。

为解决多视图数据复杂性，研究者提出了多视图特征选择方法，与多视图聚类算法密切相关。在过去几十年中，众多多视图聚类方法展现出显著性能提升。这些方法旨在利用多视图数据的一致性和互补性增强聚类效果。作为降维技术，多视图特征选择旨在从多视图中提取最具代表性的特征，从而提高下游任务（如聚类和分类）的紧凑性、可解释性和性能。在无监督学习设置中，由于缺乏标注信息，特征选择严重依赖数据内在结构，这使得无监督多视图特征选择（UMVFS）成为具挑战性但至关重要的研究方向。UMVFS方法架构包括稀疏回归方法（如[10]）和特征选择与图构建的联合学习方法[11]。尽管这些方法在统一特征选择框架中整合了一致性和互补性并取得令人瞩目的结果，但大多数现有方法未利用张量空间探索多视图数据中的高阶相关性。例如，Tang等人[12]使用NMF捕获聚类结构用于特征选择，并利用潜在表示优化共识矩阵。Cao等人[10]利用子空间学习和矩阵分解技术将图结构分解为聚类分量并融合成共识结构以指导基于稀疏回归的特征选择。此外，Cao等人[13]提出通过利用多个拉普拉斯图的谱嵌入生成独特聚类指示器，以优化自适应相似性和视图加权用于特征选择。Zhou等人[14]引入数据空间中的潜在表示学习方法，其中潜在表示通过矩阵分解获得聚类指示器矩阵，并且同时学习相似性图和共识相似性图。然而，这些方法将一致性学习限制为简单的加权矩阵融合，假设所有视图贡献相等并使用固定权重系数组合。这种简单的融合策略破坏了图结构信息并忽略了某些视图的重要性，从而降低特征选择性能。为解决这些局限性，张量学习提供了强大框架以捕获矩阵方法通常忽略的视图间高阶交互[15]。例如，Xie等人[16]采用基于张量的方法在保持跨视图图结构的同时建模高阶相关性。然而，这类张量方法通常缺乏显式约束来保留各视图固有的独特特征。这可能导致多视图多样性丢失并最终降低聚类性能。

除传统基于相似性和多样性的方法外，因果特征选择作为强大范式出现，旨在提高模型鲁棒性和可解释性。因果方法旨在识别与目标变量具有真正因果关系特征，而非虚假相关。在多视图场景中，近期几项研究试图揭示不同模态间的因果结构。Heurtebise等人[17]提出一种多视图线性结构方程模型（SEM），利用视图间相关性在比传统非高斯性更弱的假设下实现因果发现，并在神经影像数据上展示其应用。与特征选择更直接相关的是，Shen等人[18]引入CAUSA，这是第一种深入的因果多视图无监督特征选择方法。其主要见解是现有多视图无监督特征选择（MUFS）方法可能选择无关特征，因其依赖于被未观测变量混淆的相关性。CAUSA引入结构因果模型和因果正则化模块，在从多视图数据中自适应分离混淆因素的同时学习跨视图共享样本权重以平衡混淆因素分布，从而减轻虚假相关。然而，这些因果方法通常需要特定假设（例如，线性关系、无隐藏混淆因素或可获得干预数据）并且因需要因果图学习或双重机器学习程序而涉及大量计算。

如上所述，张量学习在探索高阶关系和维护数据一致性方面展现卓越能力。然而，基于张量的方法通常强调视图间一致性以优化共享结构信息，这可能导致忽视视图特定特征和信息丢失；此外，张量学习通常在在高维空间运行，使结果更难解释。传统多视图子空间聚类方法往往过度强调跨视图一致性，导致不同视图学习高度相似表示并削弱多视图学习的互补优势。因果特征选择方法虽然提供改进的可解释性和对虚假相关的鲁棒性，但仍依赖强假设（例如，线性、无隐藏混淆因素）并产生高计算成本，限制其在无监督多视图场景中的适用性。为克服这些局限性，受DiMSC[19]工作启发，我们将张量学习与HSIC结合以在多视图结构中联合学习视图一致性和多样性。具体而言，我们提出一种基于张量的无监督多视图特征选择方法，命名为TUFSCD，整合共识学习和多样性保持表示。该方法利用张量建模捕捉高阶相关性，同时使用HSIC增强跨视图互补性，从而在一致性和多样性间实现更精确平衡。换言之，所提TUFSCD方法能更准确与多视图数据真实特征分布对齐，更有效捕捉数据的一致性和多样性。

近年来，CDMVFS[20]和Chen等人（2024）[21]等方法引入平衡多视图学习中一致性和多样性的策略。这些方法主要专注于确保视图间一致性同时通过正则化技术促进多样性，例如DiMSC中使用的HSIC。虽然这些方法显著改善多视图聚类，但通常依赖矩阵分解、嵌入学习或排他性图方案，可能难以有效捕捉视图间复杂交互。尽管我们的工作与CDMVFS和Chen等人在平衡一致性和多样性的高层次动机上有共同点，但技术实现和目标截然不同。CDMVFS依赖矩阵分解和排他性图方案，限制其捕捉高阶相关性能力。Chen等人在嵌入空间而非特征选择中执行聚类操作，并且他们为子空间图学习引入潜在表示，这引入额外近似层并可能导致信息丢失。

相比之下，TUFSCD 提供了四项独特贡献，而这些贡献在上述研究中并不存在：（1）它通过稀疏回归模型直接在原始特征空间中进行特征选择，而非使用聚类方法；（2）它利用张量核范数显式建模视图之间的高阶相关性，这是基于矩阵的方法所不具备的能力；（3）它将 HSIC 和张量学习整合到一个统一的联合优化框架中进行特征选择，其中张量强制执行低秩共识结构，从而隐式地引导 HSIC 项避免平凡解；（4）它直接处理原始数据矩阵，无需进行压缩特征空间的预处理，这保留了原始特征语义，对于可解释的特征选择至关重要。

1. 动机：现有的无监督多视图特征选择方法通常只关注视图间的一致性而忽略每个视图中固有的独特信息，或者过于强调视图特有特征而牺牲了多视图融合。传统的基于矩阵的加权融合方法在建模一致性时往往只捕获线性关系，无法充分利用多视图数据中的高阶相关性。尽管张量学习能够通过捕获高阶相关性显著增强一致性建模，但它可能无法有效利用视图间的互补信息，这导致某些视图特有特征的忽视和潜在的信息损失。为解决此问题，我们的模型融入张量学习以保留多视图一致性，同时在优化过程中利用 HSIC 增强视图的多样性表示。

2. 模型：我们提出了一种新颖的张量化无监督多视图特征选择方法，用于学习多视图数据的一致性和多样性。具体而言，我们将每个视图的自表示分解为两个分量：一致性表示和多样性表示。为了增强一致性建模，我们充分利用张量学习来捕获多视图数据中的高阶相关性，从而提升对共享结构的建模能力。同时，HSIC 被用于增强视图多样性，这防止了特征冗余并提高了特征选择的鲁棒性。此外，我们引入了一个自适应联合优化机制，动态平衡一致性和多样性，从而增强特征选择的泛化能力。最后，我们利用学习到的公共图表示来引导一致的聚类结构学习，从而选择最具判别力的特征用于后续任务。

本文结构如下：第 1 节介绍研究背景和动机。第 2 节综述了无监督多视图特征选择、多视图子空间学习和图学习的相关研究。第 3 节详细介绍了本研究中使用的主要技术。在第 5 节中，介绍了所使用的数据集，并比较了不同方法的性能。此外，还进行了聚类性能比较、参数敏感性分析和经验收敛性分析，以验证所提方法的有效性和鲁棒性。

符号说明：为了便于更好地理解后续公式，表 1 提供了本文中使用的相关符号的详细说明。

无监督多视图特征选择：近年来，无监督多视图特征选择任务通常可以归类为三种基本框架：自适应无监督多视图特征选择（AUMFS）[22]、无监督同时正交基聚类特征选择（SOCFS）[23] 以及自适应相似性和视图权重（ASVW）[11]。AUMFS 需要预先构建图结构，这可以通过线性组合不同视图的图拉普拉斯矩阵或通过学习来实现。

多视图特征选择：在本文提出的方法中，我们引入了一种基于稀疏回归的特征选择模型，以从高维数据中有效选择最具代表性的特征，并通过正则化约束提高模型的泛化能力。目标函数构建为

该公式由两个主要部分组成：回归项和稀疏正则化项。回归项为。其中，是第 i 个视图的数据矩阵，是特征。

分析：
收敛性：优化算法交替更新变量块。每个子问题的设计确保其解在固定其他变量的情况下，不会增加整体目标函数值。例如，的更新利用了迭代重加权最小二乘法（IRLS）来处理其特定结构 [34]。因此，算法生成的目标值序列是非递增的。

由于目标函数是

数据集：
原核生物数据集：它包含用异构多视图数据描述的原核生物物种，包括文本数据和不同的基因组表示（表 2）。
WebKB：从四所大学的计算机科学系网站收集的网页数据集，包括康奈尔大学、华盛顿大学、威斯康星大学和德克萨斯大学。
ORL：人脸数据集包含 40 个不同主体的 400 张图像。图像是在不同条件下拍摄的，例如不同的时间等。

结论：为了增强基于张量的多视图子空间特征选择的性能，我们将学习到的子空间图分解为一致性和多样性分量，这将共识学习与希尔伯特-施密特独立性准则（HSIC）整合在一起。对于一致性分量，我们利用群效应从原始相似度图中提取主要局部结构，同时丢弃由数据噪声引起的虚假连接。对于多样性分量，我们将其映射到

CRediT 作者贡献声明：
蒋建军：撰写——审阅与编辑，撰写——初稿，形式分析，数据整理。
谢喜军：撰写——审阅与编辑，撰写——初稿，形式分析。
李玉琪：撰写——审阅与编辑，撰写——初稿。
曹国清：撰写——审阅与编辑，撰写——初稿。
熊玉杰：撰写——审阅与编辑，撰写——初稿。

利益冲突声明：
作者声明他们没有已知的经济利益或个人关系可能影响本文所报告的工作。

致谢：
本工作得到国家自然科学基金（编号：61906101）的支持。同时也得到宁波市自然科学基金（编号：2023J115）的支持。

蒋建军是宁波大学信息科学与工程学院的硕士研究生。他的研究兴趣包括子空间学习、特征选择和多视图学习。

蒋建军 | 谢喜军 | 李玉琪 | 曹国清 | 熊玉杰
宁波大学信息科学与工程学院，宁波，315211，中国