用于不完整多视图聚类的结构保持判别表示恢复

《Pattern Recognition》：Structure-preserving discriminative representation recovery for incomplete multi-view clustering

　　

•在低维潜在空间中恢复缺失视图，而非在原始特征中恢复。
•利用图滤波传播和张量低秩实现跨视图一致性。
•自适应调节张量秩，降低对人工调参的依赖。

**引言**

在许多实际应用中，数据天然由多个视图描述，这些视图从不同领域捕获互补的特征信息。多视图聚类（MVC）旨在以无监督方式将未标记的样本划分为不同的组。通过联合利用多个视图之间的一致性和互补性，MVC范式能够产生更具鲁棒性和语义有意义的聚类结果[1], [2]。然而，实践中的一个关键挑战是多视图数据往往是不完整的。部分实例可能由于采集失败、成本限制或隐私约束而缺失一个或多个视图。这一场景引出了不完整多视图聚类（IMVC）问题，该问题寻求在有效应对视图缺失的同时，联合利用视图间的一致性和互补性来提高聚类性能[3], [4]。

为解决这一问题，已提出了多种IMVC方法，例如基于矩阵分解的方法，通过学习共享潜在结构来恢复缺失视图[5], [6]；基于图的方法，在推断样本间缺失关系的同时保持数据的内在几何结构[7]；以及基于核的方法，在核空间中对异构视图间的非线性相关性进行建模并恢复缺失信息[8]。一种有前景的策略是通过恢复缺失信息来解决缺失视图数据问题。例如，Liu等人[9]提出了一种基于自表示的子空间聚类方法，该方法联合填充缺失条目并学习低秩系数矩阵，从而通过统一的表示学习提高聚类性能。Guo等人提出了一种基于张量的不完整多视图聚类方法，称为TGBSR，该方法将相似图补全、谱嵌入和一种新的块对角结构矩阵（UUT）整合到一个统一框架中，通过张量低秩约束将全局聚类结构辐射到不完整视图中[10]。

尽管这些方法取得了令人瞩目的进展，但大多数基于视图恢复的IMVC方法仍然直接在原始特征空间中重建缺失信息。这种策略存在两个主要局限。首先，原始特征空间通常具有高维、噪声和冗余的特点，使恢复过程高度依赖于原始特征的质量。其次，直接在原始空间中进行重建可能忽略潜在的聚类判别结构，导致恢复的数据与底层聚类模式不一致。如图1所示，在原始特征空间中恢复缺失视图可能会引入不可靠的信息，而在判别性潜在空间中推断缺失数据可以更好地保持内在聚类结构并产生更有意义的表示。受此观察启发，我们提出了一种面向不完整多视图聚类的保持结构的判别性表示恢复框架。与传统在原始高维空间中恢复缺失视图的方法不同，所提方法在学到的低维潜在空间中进行缺失视图推断。通过引入视图特定的正交投影，原始特征被映射到紧凑的潜在表示中，这有助于减少冗余并增强判别信息。同时，开发了一种图滤波引导的恢复机制，将结构信息传播以推断缺失样本。这样，在图结构的引导下，缺失视图恢复与判别性潜在表示学习被联合进行。此外，仅为每个独立视图学习图并不足以充分利用多个视图间的互补一致性。为解决这一问题，我们引入了一种自适应张量化图学习策略。与需要手动调节低秩正则化参数的传统张量化图学习方法不同，我们提出了一种基于低秩能量比的动态反馈机制。该机制根据优化过程中的谱能量分布自适应地调整张量核范数惩罚项，提供了一种将权重作为固定超参数处理的替代方案，但仍需初始化，从而提高了鲁棒性并降低了对敏感人工调参的依赖。

本文的主要贡献可总结如下：

•我们提出了一种基于保持结构的判别性潜在表示学习的新颖IMVC框架，该框架在学到的低维潜在空间中进行缺失视图恢复。
•我们引入了一种源自自适应学习图的图滤波引导学习机制，该机制在保持数据内在聚类结构的同时，联合实现缺失视图恢复和判别性潜在表示学习。
•我们开发了一种基于低秩能量比的自适应张量化图学习策略，以捕获多个视图间的互补一致性，从而降低对敏感人工调参的依赖，实现更鲁棒的多视图信息融合。
•在多个基准不完整多视图数据集上的大量实验表明，所提方法在缺失视图恢复、特征表示学习和聚类性能方面始终优于最先进的方法。

本文其余部分组织如下。第2节回顾了与本方法密切相关的相关工作。第3节所提模型和第4节模型优化分别描述了所提方法及其优化过程。第5节展示了在多个基准数据集上的大量实验结果。最后，第6节对全文进行了总结。

**相关工作**

多视图聚类（MVC）因其能够利用异构视图之间的一致性和互补性而受到了广泛关注。通过整合来自多个特征空间的信息，MVC方法通常能够比单视图聚类方法获得更鲁棒且语义更有意义的聚类结果。然而，大多数传统MVC方法假设所有样本的所有视图都完全可用，这在实际中往往是不现实的。

**符号与问题设置**

在本研究中，矩阵用粗体大写字母表示，例如M，向量用粗体小写字母表示，例如m，标量用斜体字母表示，例如m。对于矩阵M，其转置记为M?，迹记为tr(M)，弗罗贝尼乌斯范数记为‖M‖F。对于表示矩阵，其列对应样本，zi表示第i个样本的表示。对于亲和矩阵S，si表示其第i行。

假设不完整多视图数据集包含n个样本，由V个视图描述。

**模型优化**

由于A(v)、B(v)和H(v)都依赖于S(v)，式(15)中的目标函数是内在耦合的。因此，我们采用交替优化策略。在每次迭代中，首先根据当前图S(v)构建H(v)和Δ(v)，然后在更新其他变量时将它们固定。变量Q(v)、S(v)、辅助张量P和乘子T交替更新。

**实验**

为评估所提方法的有效性，我们将其与最先进的方法在真实世界数据集上进行比较。此外，我们进行了广泛的消融实验、参数敏感性分析和经验收敛性测试，以深入了解其特性。

**结论**

在本文中，我们提出了一种面向不完整多视图聚类的保持结构的判别性表示恢复框架。与直接在原始高维特征空间中恢复缺失视图的传统方法不同，所提方法在学到的低维潜在空间中进行缺失数据推断，在此过程中可以抑制噪声和冗余信息，并更好地保持内在聚类结构。具体来说，一种图滤波引导的……

**CRediT作者贡献声明**

纪恩泽：写作–审阅与编辑，写作–初稿，可视化，软件，项目管理，方法论，调查，数据管理，概念构思。
赵亮：写作–审阅与编辑，验证，监督，方法论，形式分析。
陈智奎：写作–审阅与编辑，监督，方法论，资金获取。

**利益冲突声明**

作者声明不存在任何已知的经济利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作部分得到国家自然科学基金（编号：62476038）的支持。

纪恩泽 | 赵亮 | 陈智奎