MCA-SSL：一种面向不完整多视图聚类的协同融合-优化-对齐循环

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：MCA-SSL: A Synergistic Fusion-Optimization-Alignment Loop for Incomplete Multi-View Clustering

　　

本文提出了一种针对不完整多视图聚类的“融合-优化-对齐”协同循环（MCA-SSL）方法。
• 设计了一种基于随机初始化和自监督学习优化的免填充策略，以鲁棒地提取聚类相关信息。
• 在全局相似度和伪标签的引导下，构建了特征级和标签级的双对比学习机制。

引言

多视图聚类（MVC）旨在将来自不同领域收集或由不同特征提取器获取的相似样本和不同样本分别归入同一簇和不同簇。由于其揭示多维数据内部结构和模式的能力，MVC已被广泛应用于各种实际场景。然而，由于数据采集过程不可控，多视图数据通常不完整，即某些样本可能缺失特定视图。例如，在社交媒体分析中，文本、图像和用户行为分别从三个视图描述用户画像：文本视图可能提供用户情感和主题信息，图像视图可能展示用户兴趣和外观特征，用户行为视图可能揭示用户交互和社会模式，但由于用户隐私设置或数据采集限制，某些用户可能缺失部分视图。近年来，不完整多视图数据的聚类（IMVC）引起了研究人员的广泛关注[1]。

视图缺失破坏了视图之间的自然对齐性、相关性和平衡性[2]，这给IMVC带来了更大挑战。例如，如何处理缺失视图的样本，如何融合不同视图之间的相关信息，以及如何有效地学习跨所有视图的共同语义，同时避免无意义私有信息（如文本中无关的上下文和图像中的背景像素）的影响。处理缺失视图样本的直接方式是忽略缺失的视图信息，仅使用已观察到的视图进行聚类。该方法简单易行，但可能会丢失视图间高价值的互补信息，扭曲原始数据分布，从而损害聚类性能，尤其在缺失率较高时[3]、[4]。另一种常见方法是先通过零填充、所有样本特征均值填充、对比学习[5]、[6]或自监督学习[7]来补全缺失视图，然后使用任何为完整多视图数据设计的MVC算法实现聚类。这些方法的性能极大程度上取决于补全样本的质量，因此错误的补全会对聚类性能产生负面影响。

多视图数据通常包含跨所有视图的共同语义（一致性）和单个视图特有的私有信息（互补性）。同时识别这两类信息对聚类是有益的。融合来自多个视图不同信息的直接方式是拼接不同视图的特征[8]。这种方式将每个视图等同对待，未区分不同视图的重要性。事实上，不同视图可能对MVC的贡献不同，区分不同视图的重要性并动态融合这些信息可能更有利于提升MVC的性能。为捕捉不同视图的不同贡献，注意力机制被广泛采用并被证明对MVC有效[9]。注意力机制的主要思想是强化对MVC有用的某些信息，从而使模型更加关注重要的视图。尽管不同视图的权重可以自适应学习，但融合特征并不一定能得到优化，因为它可能无法同时提取聚类相关信息并丢弃聚类无关信息[10]。

为学习跨所有视图的共同语义并减少视图私有信息对聚类的影响，Wang等人[11]利用视图特定的编码网络学习每个视图的特征表示，并融合来自所有视图的表示以获得共识表示。这种按视图的融合方式可能不易从多个视图中获得判别性共识表示。Yan等人[12]利用特征级对比学习来对齐共识表示和视图特定表示，以最大化共识表示中的共同语义。Xu等人[13]采用标签级对比学习来对齐来自不同特征空间的标签。然而，这些方法可能会产生同一簇内样本表示之间相互不相似的结果，这与聚类目标相矛盾，因为聚类目标要求同一簇内样本的表示应彼此相似[14]。

本文提出了一种免填充的不完整多视图聚类方法（MCA-SSL），采用互交叉注意力机制（MCA）和自监督学习（SSL）来处理上述问题。具体而言，我们首先使用随机值初始化样本的缺失值（相当于不填充），然后使用每个视图的自编码器学习视图特定表示。接下来，这些视图特定表示成对组合，通过MCA机制进行融合，融合表示进一步通过SSL进行优化。然后，全局表示与标签学习（GRLL）模块利用优化后的融合表示和视图特定表示来学习全局高层表示和聚类标签。MCA提供了一种跨视图双向融合机制，使每个视图既可作为查询也可作为键，促进视图之间的全面信息交换与整合，增强特征表示的丰富性和表达能力。此外，任意两个视图之间的成对融合确保视图之间的一致性和互补性。SSL结合对比学习和预测学习以增强视图间的一致性并提高视图内表示的语义质量，这有助于提取聚类相关信息并丢弃聚类无关信息。同时，SSL在潜在空间中优化缺失样本的视图特定表示，减轻了直接在原始数据空间中填充缺失值的困难，并增强了对视图不完整性的鲁棒性。GRLL通过在全局相似度和伪标签引导下的特征级与标签级双对比学习，将特征学习与聚类任务嵌入统一框架中，实现端到端聚类。全局相似度的引导有助于挖掘超越传统实例级方法的可靠正负样本对，从聚类分配生成并迭代优化的伪标签直接强制簇一致性并纯化特征表示，显式地改进面向聚类的表示以获得更好的伪标签，进而引导更具判别性的特征学习，从而协调地解决优化和样本选择问题。

与单向融合和不带优化的表示学习不同，MCA-SSL构建了一个"融合-优化-对齐"协同循环，为IMVC提供了集成学习框架和端到端可训练范式。

总结而言，本文的主要贡献如下：

(1) 我们将MCA、SSL和GRLL集成为"融合-优化-对齐"协同循环（MCA-SSL），为IMVC提供集成学习框架和端到端可训练范式。MCA-SSL是一种隐式填充方法，使用随机值初始化样本的缺失值（相当于不填充）。随机值模拟数据中存在的随机扰动，增强了模型的泛化能力和鲁棒性。

(2) 我们将关于两视图（输入和自监督信号）数据上任务相关/无关信息的两个定理，扩展为关于多于两视图数据上聚类相关/无关信息的定理，并提供了理论证明，确保模型能够提取聚类相关信息并丢弃聚类无关信息。

(3) 我们在七个多视图数据集上进行了大量实验，包括详细的性能对比、消融研究、可视化验证、参数敏感性分析和收敛性探索。实验结果表明了所提出MCA-SSL模型的有效性，并证实了MCA融合、SSL优化和GRLL对齐的关键作用。

本文其余部分安排如下：第2节简要概述相关工作。第3节提供符号和基本定义。第4节详细介绍所提出框架的细节。第5节提供大量实验和结果分析。第6节总结本文结论。

---

2 相关工作

本节简要回顾缺失视图恢复、多视图融合、自监督学习以及全局相似度和伪标签引导。

3 预备知识

在本文中，矩阵用大写粗体字母表示（例如??），向量用小写粗体字母表示（例如x），标量或变量用正常斜体字母表示（例如n, N），集合用手写体表示（例如??）。对于矩阵??，???·、??·?和???,?分别表示其第i行、第j列和第(i,j)个元素。???表示??的转置矩阵。对于随机变量A/B/C，I(A, B)表示互信息，I(A, B | C)表示……

4 MCA-SSL架构

在本文中，我们的目标是充分挖掘多个视图的共识信息和互补信息以提升聚类性能。如图1所示，MCA-SSL架构由三个主要模块组成：视图特定表示学习模块、MCA融合与SSL优化模块，以及GRLL统一模块。

4.1 视图特定表示学习

视图特定表示学习模块使用随机值初始化样本的缺失值，然后使用自编码器……

5 实验分析

在本节中，我们将所提出方法与五种现有聚类方法进行对比实验，以验证MCA-SSL模型的有效性，并进行消融实验、参数敏感性实验、收敛性实验以及聚类可视化实验，以进一步分析模型性能。

6 结论

在本文中，我们将MCA、SSL和GRLL集成为"融合-优化-对齐"协同循环（MCA-SSL），其中视图特定表示通过MCA机制进行融合，融合表示通过SSL进一步优化，全局高层特征和聚类标签通过在全局相似度和伪标签引导下的特征级与标签级双对比学习来学习。在四个不完整多视图数据集上的实验验证……

未引用的浮动图

缺失引用 算法1

CRediT作者贡献声明
YuanJing Liu：数据整理、调查、方法论、可视化、撰写初稿。
Ziyi Yin：撰写初稿、方法论、形式化分析、数据整理。
Lihua Zhou：审阅与编辑、项目管理、调查、资金获取。
Yong Li：可视化、软件。
Kevin Lü：项目管理、调查、资金获取。
Lizheng Wang：项目管理、调查、资金获取。

利益冲突声明
作者声明他们不存在可能影响本文工作的已知竞争性经济利益或个人关系。

YuanJing Liu | Ziyi Yin | Lihua Zhou | Yong Li | Kevin Lü | Lizheng Wang