基于视图重构与结构统一的不完整多视图聚类

《Neurocomputing》：Incomplete multi-view clustering via reconstructing views and structure unification

　　

摘要 作为不完整多视图聚类（IMVC）方法的一个重要类别，基于子空间的方法旨在从不完整的多视图数据中寻求共识潜在表示。然而，它们通常存在两个关键局限性。首先，它们通常依赖朴素插补或简单地忽略缺失条目。这会导致严重的错误传播，并在高缺失率下未能充分利用视图间相关性。其次，它们忽略了伪共识问题，即聚类结果受缺失数据最少的视图主导。为了克服上述两个挑战，本文提出了一种通过重建视图和结构统一的新颖 IMVC 方法，称为 REVU。首先，设计了一种创新的保护与重建机制以主动完成缺失数据。该机制利用现有实例与潜在共识表示之间的关系来补全缺失数据并加强视图间连接。其次，引入图正则化项以保留每个视图的局部几何结构。此外，设计了一个结构统一项，将不同视图之间可能冲突的聚类结构显式对齐到判别性共识表示中。在九个基准数据集上的大量实验表明，所提出的 REVU 与最先进方法相比取得了具有竞争力或更优的性能，在高缺失率下观察到的提升最为显著。

引言 在现实世界中，多视图数据集通常收集自多个来源或通过不同的特征提取器 [1], [2]。例如，临床环境中的患者同时接受磁共振成像和正电子发射断层扫描。产品可以同时由图像和文本描述来描述。此类多视图数据提供了丰富的互补信息，并使人们对样本内在结构的理解更加全面 [3], [4]。因此，多视图聚类吸引了大量的研究兴趣。该方法旨在联合利用异构信息以发现统一的聚类结构 [5], [6]。主流的多视图聚类范式，包括非负矩阵分解 [7], [8], [9]、核学习 [10], [11], [12] 和子空间聚类 [13], [14], [15]，已通过提取多个视图间的共识信息取得了巨大成功。

然而，由于传感器故障、传输错误或隐私限制，完整数据的假设在实际环境中经常失效。在不完整数据所提出的挑战中，结构不一致性尤为严重。这种不一致性表明，同一组样本在不同视图中可能表现出根本不同的聚类几何结构。例如，在对脑疾病进行诊断时，同时接受磁共振成像和正电子发射断层扫描的患者，前者视图可能将大脑分割为三个功能区域，而后者视图可能识别出四个代谢区域。如果没有适当的协调机制来融合这些冲突信号，可能导致不良后果，例如合并不同的病理区域从而导致误诊。

为解决不完整多视图聚类（IMVC）问题，许多现有方法试图恢复缺失条目 [16], [17], [18], [19]。虽然在某些场景中有效，但这些方法通常将共识表示视为特定视图变换的被动副产品。这种观点忽视了一个关键的故障模式，即 IMVC 问题独有的伪共识。当视图的缺失率不均匀时，标准融合机制倾向于产生一个共识矩阵，该矩阵不成比例地受缺失条目最少的视图主导。因此，学习到的表示仅保留了最完整视图的结构，而不是反映所有视图间真正的语义对齐。此外，传统的子空间方法通常对投影矩阵施加正交约束，而不是对共识空间施加。因此，它们未能防止这种视图主导偏差。

为弥合这一差距，我们提出了一种名为 REVU（视图重建与结构统一）的新颖方法来解决 IMVC 问题。与优先进行数据插补或统计对齐的传统方法不同，REVU 采用结构优先范式。核心见解认为，IMVC 的主要挑战不仅仅是数据补全，而是将冲突的几何结构显式统一为判别性共识。如图 1 所示，REVU 将视图重建和结构统一整合到一个联合优化框架中。首先，我们设计了一种保护与重建机制，利用当前共识表示 和视图特定基 来重建缺失值。此外，该机制严格保留观测条目以防止错误传播。其次，为了融合和统一局部几何信息，我们引入了一个图正则化项，约束 以保留流形结构。最后，我们直接在共识表示 上施加结构统一约束。该约束充当软正交正则化项，鼓励共识表示的能量均匀分布在各个视图中。通过惩罚任何单一视图的主导地位，该机制主动缓解了伪共识问题。本文的主要贡献总结如下：
•我们提出了 REVU，一个优先考虑结构统一而非数据补全的框架，以解决基于子空间的 IMVC 中的伪共识问题。
•我们设计了一种保护与重建机制，在整个优化过程中将观测条目视为可靠锚点。该机制防止干净数据被噪声重建破坏，并提高了在高缺失率下的鲁棒性。
•我们直接在共识表示上施加结构统一项。该术语为协调冲突的聚类结构提供了几何解决方案。

本文其余部分组织如下。第 2 节简要介绍了一些相关工作。第 3 节详细介绍了所提出的方法。第 4 节介绍了优化算法。第 5 节讨论了收敛性和计算成本。第 6 节讨论了基于八个多视图数据集的实验结果。第 7 节进一步讨论了我们的模型。第 8 节总结了本文。

章节片段
基于图的方法
基于图的方法为每个视图构建亲和图，然后寻求统一的图或表示。早期工作，如 MKKM-IK [20]，通过将插补和聚类集成到统一的优化过程中，解决了基核矩阵中缺失的行和列。最近，AGC-IMC [21] 提出了一种用于自适应图补全和共识表示学习的联合框架。它引入自适应权重来平衡不同视图的重要性并恢复...

动机
开发有效的不完整多视图聚类框架需要解决两个挑战。
首先，现有的子空间方法采用被动策略，将缺失条目视为可忽略的噪声或依赖朴素插补。同一样本的不同视图通过共享的潜在结构内在相关。因为它们未能主动重建缺失值，这些方法丢弃了嵌入在不完整视图中的互补信息。这种疏忽不仅...

REVU 的优化
公式 (4) 中的优化问题关于 , 和 联合是非凸的。然而，在固定其他变量时优化一个变量它是凸的。我们采用迭代交替优化算法来寻找局部最优解。
更新 固定 和 ，关于 的子问题为：
该约束在保护与重建机制中起着核心作用。它没有修改 或 的梯度，而是显式地将观测条目 与缺失条目 分离开来。

分析
在本节中，我们分析所提出的 REVU 的计算复杂度和收敛性。
计算复杂度：REVU 的计算复杂度由三个主要更新步骤决定。更新 产生 的复杂度。更新 产生 的复杂度。更新 产生 的复杂度。总之，每次迭代的主要成本来自第一步，经过 次迭代的总复杂度为 。初始化模型的计算复杂度与计算...

数据集与基线方法
我们在八个广泛使用的数据集上评估了所提出的 REVU 的有效性。3Sources1 数据集包含来自多个来源的新闻文章。100Leaves2 数据集由三个不同视图描述的植物叶片样本组成。Caltech7 和 Caltech20 是 Caltech1013 数据集的子集，该数据集包含各种物体类别的图像。BBCsport4...

讨论
REVU 的强大性能源于其集成框架，该框架解决了子空间 IMVC 中错误传播和伪共识的两个挑战。与忽略缺失数据或依赖朴素插补的方法不同，我们的保护与重建机制通过将观测实例视为可靠锚点，并通过共识表示 推断缺失部分，主动完成缺失值。该机制防止了干净数据被噪声...

结论
本文提出了一种用于 IMVC 的基于子空间的框架。与传统忽视缺失数据或依赖朴素插补的方法不同，REVU 解决了错误传播和伪共识的核心挑战。关键创新基于三个组件的集成：一种将观测条目视为可靠锚点以避免噪声污染的保护与重建机制，用于保留局部几何结构的图拉普拉斯正则化，以及...

CRediT 作者贡献声明
黄卓杰：撰写 – 审阅与编辑，撰写 – 初稿。郑瑞：撰写 – 审阅与编辑，撰写 – 初稿。赵树萍：撰写 – 审阅与编辑，验证。吴夏林：验证，资源，形式分析。吴继刚：撰写 – 审阅与编辑，监督，资金获取。

竞争利益声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能被认为影响了本论文中报告的工作。

致谢
这项工作得到了国家自然科学基金（批准号 62106052）和中国广东省重点研发项目（批准号 2025B0101090002）的部分支持。

黄卓杰于 2024 年获得中国广州广东工业大学硕士学位。他目前在中国广州广东工业大学计算机科学与技术学院攻读博士学位。他的研究兴趣包括模式识别和图像处理。

黄卓杰 | 郑瑞 | 赵树萍 | 吴夏林 | 吴继刚
中国广东省广州 510006，广东工业大学计算机科学与技术学院