面向多视图生成式聚类的互监督扩散模型

《Information Fusion》：Reciprocal Supervised Diffusion Model for Multi-view Generative Clustering

　　

• •
  设计了一个高效的基于扩散的多视图聚类框架。
• •
  采用了一种新颖的双向师生模式来提取公共语义。
• •
  通过一种新的基于正交的编码器来缓解视图私有信息。
• •
  通过一个新的混合注意力融合模块考虑视图级和特征级的权重。

引言

多视图数据是一种特殊类型的数据，源自同一对象的多个来源和模态，融合了多样且互补的信息。它已被广泛应用于现实世界的应用中 [1]。例如，人体活动识别从不同环境中的多个传感器或设备收集数据 [2]，以提高识别准确率和速度。同时，行人重识别通过从近红外模态中捕获轮廓和形状特征来增强其能力 [3]。尽管监督方法在多视图研究中取得了令人鼓舞的性能，但它们在无监督学习下仍然面临挑战，特别是在多视图聚类（MvC）中。

所有聚类方法（包括单视图或多视图）的主要目标是在没有标签指导的情况下，尽可能准确地将样本划分到各自的簇中，而 MvC 方法旨在通过从多个来源提取共享的判别信息来增强聚类性能。在早期的 MvC 研究中，经常使用深度典型相关分析 [4] 或深度子空间学习 [5] 等技术来捕获多视图数据中的公共语义。对比学习采用了一种计算效率更高且更具可解释性的策略，依赖于“将同一对象视图构成的正对推离由不同对象构建的负对”的概念 [6]，并成为当前深度 MvC 方法的关键组成部分 [7], [8]。尽管以前基于对比的 MvC 中对损失函数或学习策略的许多有效修改提高了不同视图之间最终表示的质量，但对比学习的一些固有特性可能会容易被忽视。

无论使用何种学习策略（例如余弦相似度 [9] 或互信息 [10]），构建负对是对比学习的主要任务。在无监督设置中，构建过程并不总是完美的，因为簇内样本有可能被错误地分配给负类（即假负样本问题）[11]。一些研究 [12] 试图通过引入额外的约束来区分假负样本和真负样本，例如 ?-邻域、k-近邻和随机游走策略，这进一步增加了基于对比的 MvC 方法的计算负担。平衡训练效率和聚类性能至关重要。此外，注意力融合模块是一种流行的特征聚合技术，能够充分利用多个视图之间的互补信息 [13]，已被以前的 MvC 方法广泛采用。现有注意力融合模块中常用的两种策略是：1) 自适应加权注意力 [13], [14]，由三个全连接层组成，并在 softmax 层后通过均值操作输出视图权重；2) 自加权注意力 [15], [16]，通过对矩阵 Q 和 K 的矩阵乘法使用 softmax 来产生权重。然而，这些模块仅关注视图级差异，忽略了特征相关性。

在本文中，我们提出了一个无需构建负对的框架，称为用于多视图生成聚类的互监督扩散模型（RSD-MGC）。我们的设计受到现有方法两个关键局限性的启发。首先，传统方法使用基于重建的自编码器学习视图特定表示，但重建目标保留了视图私有细节，因此与提取公共语义相冲突 [7]。其次，现有方法在训练和推理方面均效率低下。当前的基于对比学习的方法因负对构建而产生额外的计算开销，并且在推理时必须调用所有视图特定模块。为了解决这两个问题，我们用正交编码器替代自编码器，并采用一种师生架构，其中共享的学生模块直接从融合编码器表示中提取公共语义，从而显著提高了推理效率（图 1）。受自蒸馏框架 [17] 的启发，其中教师参数从学生更新，我们考虑将该范式直接扩展到多视图数据。然而，这样的扩展将从单个统一的学生更新所有视图特定的教师，忽略了跨视图差异并模糊了共享信息和视图私有信息之间的界限。因此，我们引入了视图特定的教师并采用互监督，其中教师和学生在训练过程中交换角色。教师和学生模块都构建在扩散骨干网络上，以实现更强的泛化表示学习能力 [18]。在推理时，该框架运行单个共享采样过程，这避免了扩散模型在多视图设置中的典型开销。此外，混合注意力融合模块捕获了传统基于注意力的融合所忽略的特征相关性。

本工作的主要贡献如下：

• •
  我们设计了正交编码器来替代基于重建的自编码器，在保留跨视图共享类别相关信息的同时，抑制视图私有干扰。
• •
  我们提出了一种带有扩散骨干网络的互监督师生范式。它通过建模视图特定差异，克服了将自蒸馏直接扩展到多视图数据的局限性，并消除了负对构建的计算开销，同时扩散骨干网络比 MLP/Transformer 骨干网络具有更好的泛化能力。
• •
  我们引入了一种混合注意力融合模块，以捕获传统基于注意力的融合所经常忽略的特征相关性。

章节摘要

相关工作

在本节中，我们简要介绍了与本工作相关的技术发展，即深度多视图聚类和生成模型。

方法

在本节中，我们详细介绍了互监督、基于正交的编码器和混合注意力融合的实现。在展示我们的模型之前，我们简要概述了其骨干网络，即扩散模型。

实验

在本节中，我们对八个广泛使用数据集的最终表示进行聚类，以评估 14 种比较方法的性能。

结论

本文提出了一种新颖的基于扩散的框架 RSD-MGC，用于无监督多视图聚类。与通过对比学习提取公共语义的主流多视图聚类方法不同，我们的高效非对比解决方案集成了基于正交的编码器、互监督学习和一致性约束来提升聚类性能。无需构建负对，我们的框架能够在有限资源下实现大批量训练，并使

CRediT 作者贡献声明

郑伟：撰写 – 初稿，方法学，概念化。景晓源：撰写 – 审阅与编辑，监督，概念化。尤鑫格：验证，监督。邓宇杰：可视化，验证。谭明奎：可视化，验证，软件。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能被认为会影响本文报道的工作。

郑伟 | 景晓源 | 尤鑫格 | 邓宇杰 | 谭明奎