基于对比度驱动的增量多视图聚类结合语义蒸馏与自适应图融合技术

《Pattern Recognition》：Contrast-driven incremental multi-view clustering with semantic distillation and adaptive graph fusion

　　**摘要**
随着多视图数据在现实世界应用中的大量出现，揭示并利用其内在结构以支持下游任务在数据分析中变得至关重要。作为这一领域的代表性技术，多视图聚类（MVC）近年来受到了广泛研究。大多数现有的MVC方法假设所有视图都是预先可用的。然而，在实践中，数据传输延迟、存储限制和隐私问题等因素常常导致视图逐渐分阶段地被获取。尽管已经引入了几种增量MVC方法，但它们通常存在知识传递不足和稳定性差的问题，从而在增量融合过程中导致错误积累和知识退化。为了解决这些问题，本文提出了一种基于对比驱动的增量多视图聚类方法，该方法结合了语义蒸馏和自适应图融合（CMSA）。通过平滑不同视图之间的语义差距，跨视图语义蒸馏模块能够有效地从包含冗余和噪声的历史结果中提取有价值的信息。同时，为了减轻知识退化，设计了自适应图融合模块来增强历史视图与新收集视图之间的结构互补性。特别是，通过对比损失促进了两个层次知识之间的交互，显著提高了聚类性能和稳定性。在多个基准测试上的广泛实验表明，我们的方法在准确性和稳定性方面均优于现有的增量MVC方法。代码可访问地址：https://github.com/YHOOW/CMSA。

**引言**
多视图聚类（MVC）作为无监督学习的一个重要分支，在过去二十年里受到了广泛关注[1]。它能够整合来自不同来源、特征空间或模态的同一对象的多视图数据。无论是在浅层模型还是深层模型中，MVC都遵循两个核心原则：一致性和互补性。一致性确保了视图之间的语义对齐，为融合提供了可靠的基础；而互补性则利用了每个视图中的独特信息，从而获得更全面的理解。基于这些原则，许多MVC方法在揭示多视图数据的内在结构和有价值知识方面表现出了令人印象深刻的能力。实际上，MVC已成功应用于图像处理[2]、自然语言处理[3]、物联网[4]、生物信息学[5]和推荐系统[6]等多个领域。
在理想的MVC环境中，所有视图都被假设为可以提前完全获取，从而使学习模型能够同时整合它们[7]。然而，由于数据传输延迟、存储限制或隐私问题，这种理想环境在现实世界应用中很少实现[8]。例如，在脑机接口系统中，连续获取不同时间戳的脑信号对于分析大脑状态至关重要，因为这些信号会随着受试者的心理状态而波动。这些在不同时间戳收集的脑信号代表了不同的视图，导致视图数量随时间增加[9]。在社交网络中，准确分析用户行为需要整合来自不同平台的数据。随着新平台的出现，可用视图的数量也会增加。由于实时性和隐私问题，新收集的视图必须在隔离原始数据的同时进行分析[10]。在这种增量场景下，传统的MVC范式需要从头开始重新计算以整合新收集的视图，这会导致显著的计算开销和资源消耗，并严重限制了现有MVC方法在现实世界任务中的安全性。
最近，提出了几种增量多视图聚类（Inc-MVC）方法。Zhou等人[11]首次提出了Inc-MVC的主要概念，通过最小化共识核与一组基础核之间的差异来实现增量融合。Yin等人[12]引入了光谱嵌入作为增量融合过程中的知识载体，通过图重建实现知识传递。Wan等人[13]在共识分割矩阵中保留了历史视图的先验知识，逐步合并新收集视图的分割矩阵以进行更新。在此基础上，他们考虑了样本之间的相关性，将每个实例的相似和不同样本存储在固定大小的数据缓冲区中，以指导共识分割矩阵的学习过程[14]。Yan等人[15]设计了一种简单而有效的神经网络，使用知识库存储代表性样本，最大化历史视图与新收集视图之间的互信息。作为Inc-MVC领域的开创性研究，这些方法取得了有希望的进展，但仍面临一些挑战：
- **错误积累**：由于视图的质量难以预测，很难防止冗余或噪声对从历史视图中提取的有价值知识产生负面影响。在增量融合中，强调不同视图之间的直接分割一致性会导致错误积累，最终降低聚类性能。
- **知识退化**：现有模型通常优先考虑新收集的视图，而忽略了历史知识的传递。结果，早期视图中的有价值信息逐渐丢失，以适应新收集的视图。这种现象被称为灾难性遗忘，实质上削弱了多视图数据的互补性。

为了解决这些问题，我们提出了一种基于对比驱动的增量多视图聚类方法，该方法结合了语义蒸馏和自适应图融合（CMSA）。如图1所示，我们框架的关键创新在于在语义和结构层面实现视图之间的知识传递。首先，语义蒸馏用于平滑历史视图与新收集视图之间的语义差距，与直接分割一致性不同，语义蒸馏能够持续从历史视图的不确定结果中提取有价值的信息，有效缓解了Inc-MVC中的错误积累问题。其次，考虑到样本相关性的稳定性，采用自适应图融合在结构层面进行知识传递。通过对比学习，动态调整历史视图和新收集视图的贡献，形成每个训练批次中的最佳结构互补性，避免了历史知识的退化。此外，对比学习促进了语义层面和结构层面之间的交互，不仅增强了知识传递的稳定性，还提高了它们的区分能力。

**主要贡献**：
1. 本文首次提出了一个端到端的深度Inc-MVC模型，能够连续捕捉多视图数据的复杂模式。这项研究为Inc-MVC提供了一种新的范式，加入了许多新思想以产生更好的输出。
2. 本文设计了一种新颖的跨视图知识传递机制。通过平滑不同视图之间的语义差距，语义蒸馏从包含冗余和噪声的先前结果中提取有价值的信息，确保了细粒度知识传递的连续性。
3. 本文通过对比学习促进了历史视图与新收集视图之间的最佳结构互补性，从而减轻了知识退化。特别是，对比损失促进了两个层次知识之间的相互指导，显著提高了Inc-MVC的稳定性。
4. 为了评估我们提出方法的有效性，我们在几个基准数据集上进行了实验。结果表明，与现有方法相比，我们的方法在增量多视图聚类任务中表现更优，同时稳定性也得到了提升。

**实验**
在本节中，提出的CMSA在七个基准数据集上使用三个常用指标进行了评估：聚类准确率（ACC）、标准化互信息（NMI）和纯度（PUR）。这些指标的范围都是0到1，数值越高表示聚类性能越好。八个现有的比较方法如下：
- 传统多视图聚类：NSE [16]、OMSC [19]
- 深度多视图聚类：DEMVC [23]、MVCformer [24]
- 增量多视图聚类：

**结论**
本文提出了一种基于对比驱动的增量多视图聚类方法，以克服现有方法中的知识传递限制和不稳定性问题。与依赖于分割层面直接一致性的传统方法不同，我们的方法引入了一种双重知识保留机制：语义蒸馏，从历史状态中捕获潜在的分类智能；以及自适应图融合，增强了不断演变视图之间的结构互补性。

**作者贡献声明**
Hongwei Yin：撰写——原始草案、验证、方法论、概念化。
Hongpeng Chen：撰写——原始草案、验证、软件实现。
Wenjun Hu：方法论、资金获取。
Peng Zhou：监督、概念化。
Shitong Wang：监督、资金获取。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本研究得到了中国国家自然科学基金（项目编号62206094、U20A20228、62176001）、浙江省市场监督管理局科研项目（ZC2025029）和湖州特种设备检验研究院科研项目（2024-ZB-02）的资助。