SSLMVC：自监督标签驱动的多视图协同聚类

《Neurocomputing》：SSLMVC: Self-supervised label-driven multi-view collaborative clustering

　　

Xiaotong Zhao|Limin Chen|Yujie Tian|Hui Wang

中国黑龙江省牡丹江157011，牡丹江师范学院数学科学学院

摘要

自监督多视图聚类已经取得了显著进展，但仍有两个挑战：单粒度伪标签对视图噪声的敏感性，以及跨视图表示耦合不平衡导致的自监督信号失真。为了解决这些问题，我们提出了一种名为自监督标签驱动多视图协作聚类框架（SSLMVC）的新框架。具体而言，SSLMVC通过在特征、语义和标签空间对样本进行对齐来促进视图间的耦合，同时通过具有特征和标签双层多样性约束的深度自编码器实现解耦。这种多层耦合-解耦设计有效地平衡了视图特定细节与共享语义，降低了自监督学习的性能下降。此外，受多标签学习启发，我们开发了一个双伪标签生成模块，该模块从视图级特征和全局聚类结构中获取互补的标签信息。借助知识蒸馏技术，这些伪标签被对齐并融合，以降低对噪声或不一致视图的敏感性。在八个公共数据集上进行的广泛实验以及与七种最先进的基线方法的比较表明，我们提出的方法具有更出色的性能和更强的鲁棒性。代码可在https://github.com/ZhaoLabNote/The-official-implementation-of-SSLMVC获取。

引言

聚类分析是一种无监督学习技术，已被广泛应用于数据挖掘等领域。然而，现实世界的数据往往具有多面性，仅依赖单一视角难以完全捕捉数据的固有结构。因此，传统聚类方法往往无法揭示复杂数据集中隐藏的信息，这使得多视图聚类（MVC）成为越来越受欢迎的研究方向。有效提取视图特定特征以及跨视图共享的语义信息对于提升聚类性能至关重要。现有的多视图聚类方法大致可分为传统方法和基于深度学习的方法。在后者中，最具代表性的是自监督MVC方法，这类方法可进一步分为四类：（1）基于图结构的MVC方法[1]、[2]、[3]、[4]、[5]；（2）基于子空间的MVC方法[6]、[7]、[8]、[9]、[10]；（3）基于矩阵的MVC方法[11]、[12]、[13]；（4）基于伪标签的MVC方法[1]、[14]、[15]、[16]、[17]、[18]。

这些方法以自监督方式学习深度特征表示，并且已展现出较强的实证性能。在多视图数据中，不同视图不仅包含语义一致的信息，还包含对聚类具有区分度的互补特征。现有方法从不同角度探讨这一特性。例如，DDMVC并不直接融合跨视图的特征，而是通过对低级表示进行对齐并规范视图间关系，从而在保持视图特定特征的同时实现出色的聚类性能。相比之下，CFMVC则将深度神经网络与图卷积网络相结合，直接融合跨视图信息，学习更适用于聚类的共享表示。

这些研究共同凸显了多视图学习中两个同样重要但又存在内在竞争的归纳偏差：视图间一致性（耦合）与视图特定可区分性（解耦）。尽管这两种偏差都不可或缺，但大多数现有方法往往倾向于强调其中之一。过度强化视图间一致性可能会抑制各视图独有的区分性特征，从而导致表示崩溃或聚类可分性下降。相反，如果过度追求视图特定多样性而缺乏足够的耦合，可能会导致视图间出现语义漂移，最终破坏整体聚类结构。

因此，自监督多视图聚类仍面临两个密切相关的挑战。首先，如何有效平衡耦合与解耦这两种相互竞争的归纳偏差。其次，如何处理伪标签噪声，以构建更可靠的监督信号来支持这种平衡。

近年来，基于解耦的多视图方法通过将共享表示与视图特定表示分离以减少冗余，取得了良好的性能[19]。例如，MVFD[20]将一致性学习目标分解为三个子任务，并引入了双重目标图解耦损失，有效消除了视图一致表示与视图特定表示之间的冗余，从而获得了出色的实证结果。

然而，这些方法主要侧重于表示层面的分解，旨在减少所学特征空间中的重叠。而我们的工作则从另一个互补的角度出发：如何在训练过程中调节耦合与解耦目标之间的相互作用，尤其是在噪声较多的自监督环境中。

为了解决上述挑战，我们提出了一种名为SSLMVC的自监督多视图聚类框架，该框架在多个层面明确协调耦合与解耦目标。如图1所示，该框架由三个核心模块组成：（1）特征空间耦合-解耦模块，通过跨视图一致性损失初步对不同视图的编码器输出进行对齐以实现耦合，同时通过为每个视图设置独立的自解码器来保留视图特定信息以实现解耦；（2）语义空间耦合-解耦模块，通过特征级对比学习损失与融合一致性损失相结合来增强耦合，同时通过最大化视图间方差并最小化协方差约束来实现解耦；（3）标签空间耦合-解耦模块，分别基于学生t分布和可学习的多层感知器构建实例级（P）和簇级（Q）伪标签。这些异构伪标签被融合以利用互补的监督作用，同时通过联合优化标签对比损失、标签传播损失和伪标签蒸馏损失来进一步促进耦合。而解耦则是通过优化标签多样性损失来实现的。

总之，本工作的主要贡献如下：

• •
  我们提出了一种基于耦合-解耦平衡的自监督多路径协作聚类框架。通过结合耦合与解耦机制及其平衡策略，我们的方法有效降低了自监督信号的不可靠性。
• •
  我们设计了一个多粒度监督信号生成模块，并引入了跨视图知识蒸馏策略。这使得实例级和簇级自监督信号能够互补使用，解决了传统方法中单粒度伪标签易受视图噪声影响的缺陷。
• •
  在八个公共数据集上针对七种基线方法进行的广泛实验表明，我们提出的方法显著优于当前最先进的多视图聚类技术。

章节节选

多视图聚类

多视图聚类（MVC）旨在在不依赖标签信息的情况下将数据划分为多个簇[21]、[22]、[23]、[24]、[25]、[26]、[27]、[28]、[29]。为实现这一目标，基于伪标签的深度MVC方法试图以某种方式为无标签数据生成伪标签。然后，它利用这些伪标签作为监督信息来优化模型，使模型能够学习更具区分度的特征表示，从而提升聚类效果。

所提出的方法

在本节中，我们将介绍SSLMVC框架的设计。如图1所示，SSLMVC的核心思想是在原始特征空间、高级语义空间和伪标签空间这三个表示层面实现平衡的耦合-解耦机制。

实验设置

所有实验均使用Python 3.12和PyTorch 2.7.0在配备NVIDIA RTX 4060 GPU（8 GB显存）、96 GB内存以及Intel Core i9-13900HX处理器的笔记本电脑上进行。模型的训练批量大小为256。自编码器使用标准的Adam优化器进行了200轮预训练，学习率为$$。对比学习温度参数$$固定为0.5。

所有视图特定编码器均采用结构相同的全连接神经网络实现

结论

在本文中，我们提出了一种名为自监督标签驱动多视图协作聚类框架（SSLMVC）的新方法，旨在解决多视图聚类面临的挑战。其核心创新在于一种多层耦合与解耦策略，该策略能够在不同视图之间实现对齐与独立性的平衡，从而生成更可靠的自监督信号。与现有方法不同，SSLMVC引入了双粒度伪标签协同优化机制。具体而言，它

CRediT作者贡献声明

Xiaotong Zhao：撰写——初稿、方法论。Limin Chen：撰写——审阅与编辑、方法论、资金获取。Yujie Tian：可视化、数据整理。Hui Wang：软件、数据整理。

利益冲突声明

作者声明不存在任何可能影响本文所述工作的已知利益冲突或个人关系。

致谢

本研究得到了黑龙江省自然科学基金的资助，项目编号为ZL2024A001。

Xiaotong Zhao于2022年获得青岛科技大学工学学士学位，目前就读于牡丹江师范学院数学科学学院，攻读硕士学位。他的研究兴趣包括多视图学习与自监督学习。