基于层次特征的双对比多视图聚类

《Neural Networks》：Hierarchical Feature based Dual Contrastive Multiview Clustering

　　彭思远|袁宇飞|杨晓军|杨志静|聂飞平

摘要：多视图聚类技术因其能够利用多个视角的互补信息而受到广泛关注。然而，现有的大多数深度多视图聚类方法主要侧重于从每个视角学习统一的全局表示，这往往导致对视角间互补性的利用不够充分，以及一致性与人相关性之间的平衡欠佳。为克服这些局限，本文提出了一种名为分层特征驱动双对比学习的新深度多视图聚类框架。具体而言，HFDCL引入了一种基于分层自注意力的学习架构，该架构将一致性目标与重建目标明确分开。这种分层设计确保所学到的表示能够有效保留每个视角所固有的局部特征和整体特征。为进一步优化一致性与互补性之间的权衡，HFDCL还融入了基于信息噪声对比估计的双对比学习模块。该模块旨在最大化互补视角特定表示与全局表示之间的互信息，从而实现跨多个视角的对比融合。这一策略提升了多视图特征的多样性和一致性，这对于多视图聚类任务至关重要。在多个真实世界的多视图数据集上进行的广泛实验验证了所提出的HFDCL框架的有效性，其性能优于现有的先进深度多视图聚类方法。

引言：在许多现实应用中，多视图数据指的是同一实体或对象的不同描述或表现形式，通常是在不同条件下获取的。每个视角都包含独特但互补的信息，将这些信息整合起来可以形成更全面、更整体的表示。因此，过去十年间，多视图聚类技术引起了大量研究兴趣，并已成功应用于表示学习、社区检测、推荐系统以及数据驱动决策等多个领域。多视图聚类的主要目标是通过充分利用多个视角之间的一致性和互补性，将数据样本划分到不同的簇中——其中一致性要求不同视角下同一样本的表示在语义上保持一致，而互补性则强调不同视角提供的是补充性的、非冗余的信息。现有的多视图聚类方法主要包括传统的浅层方法和基于深度学习的方法。传统方法，如基于矩阵分解的方法、基于图的技术以及核学习方法，往往存在表示能力有限和计算成本高的问题，这限制了它们在大规模复杂数据集上的应用性能。为解决这些问题，深度多视图聚类方法被视为一种有前景的替代方案，它具有更强的特征表示能力和更好的可扩展性。近期研究表明，基于深度学习的方法在捕捉视角间的复杂非线性关系方面具有显著优势，从而提升了聚类性能。总体而言，深度多视图聚类方法可分为两大类：生成式方法和对比学习方法。生成式方法通常利用自编码器学习多视图数据的紧凑低维表示，然后再进行聚类。尽管在一定程度上有效，但这些方法容易过拟合，且可能难以完全捕捉视角间的复杂依赖关系，从而限制了它们构建高级跨视角关系的能力。在生成式方法中，另一种重要的方法是使用生成对抗网络，这类网络与自编码器在架构上有相似之处，但通过生成器与判别器之间的对抗训练来提升所学特征的质量。基于GAN的方法在自监督深度多视图聚类中展现出巨大潜力，它们能够提取出更高质量、与视图一致的表示，更准确地反映底层数据分布。这些优势使得基于GAN的聚类方法比传统的生成模型具有更好的性能。不过，生成式深度多视图聚类方法的一个关键缺陷在于，它们未能充分考虑不同视角之间语义标签的一致性。这一缺陷可能会妨碍模型学习出连贯且一致的分类结果，尤其是在需要不同表征方式之间语义信息对齐的场景中。为解决生成式方法在多视图聚类任务中的不足，对比学习作为一种有效的替代方案应运而生。这种技术通过促进多个视角之间的表示一致性来提升聚类性能。作为一种学习范式，对比学习通过让语义相似的实例的表示更加接近，同时使不同类别的表示相互分离，从而获得有意义的特征表示。最近，作为对比学习原理的延伸，对抗学习也被引入，用以进一步提升对比学习型多视图聚类方法的性能。这类基于对抗学习的方法结合了GAN等框架的生成建模能力与对比学习的判别优势。具体而言，它们旨在通过重建原始数据分布来最小化分布差异并保持数据的结构完整性。这是通过维持生成器的结构来实现的，从而克服了基于点估计的生成模型的固有缺陷。由于纳入了输入重建所需的所有关键信息，基于对抗学习的多视图聚类方法能够生成比单纯依赖判别线索的对比学习方法更具信息量和更稳健的特征表示。然而，现有大多数对比学习型多视图聚类方法的一个关键缺陷是，它们往往只专注于从每个视角学习统一的全球表示。这往往导致一致性与人相关性之间的平衡欠佳，最终使得聚类性能不佳。为应对上述挑战，本文提出了一种用于多视图聚类的新框架——分层特征驱动双对比学习。与现有的深度多视图聚类方法相比，HFDCL的优势在于它能够有效地平衡一致性和重建目标，同时建立一种更符合多视图聚类任务一致性要求的表达能力更强的表示学习机制。所提出的HFDCL框架基于分层自注意力学习架构，该架构将一致性目标与重建过程明确分开。在该架构中，自编码器和变换器被共同用于在多个层级上分层学习潜在特征表示，从而捕捉低级、高级和全局特征。自编码器负责深入提取特定于视角的私有信息，而变换器则负责建模视角间的长距离依赖关系和全局交互作用。这种分层表示方式确保了既能保留局部视角特征，又能保持全局结构信息。为进一步强化一致性与互补性之间的相互作用，HFDCL融入了受信息噪声对比估计原理启发的双对比学习模块。与传统对比学习方法通常只关注样本间区分或视角内对齐不同，所提出的双对比策略在两个互补的层面发挥作用：（1）样本内视角间对比，即将同一实例在不同视角下的特征表示结合起来，从而促进视角间的一致性；（2）样本间对比，即让不同实例的表示相互分离，从而增强聚类空间内的区分能力。在实际应用中，正样本对是通过对齐同一实例在不同视角下的特征嵌入来构成的，而负样本对则是通过配对不同实例的特征来形成的。随后利用余弦相似度来评估表示的对齐程度，再通过经过温度缩放的softmax函数生成概率相似度分布。接着对这些分布进行优化，以最大化正样本对的相似度，同时最小化负样本对的相似度，从而实现精细的实例级区分。此外，为降低对特定于视角的噪声的过拟合风险，并提升全局一致性——即形成一个统一的全球语义表示，作为所有视角聚类的统一参考——HFDCL在对比计算之前会将每个特定于视角的特征与其全局融合后的对应特征进行拼接。这一步骤确保了在通过共享变换将特征对齐到同一潜在空间的同时，仍能保留互补的视角特定信息，从而使全球语义表示能够始终如一地指导跨视角的聚类决策。之后，会应用一个轻量级的多层感知器将拼接后的特征映射到紧凑的嵌入空间中，从而在减少冗余的同时保留语义丰富性。图1展示了HFDCL架构的概览。总之，本研究的主要贡献如下：•我们提出了一种新的深度多视图聚类框架——分层特征驱动双对比学习，旨在有效解决多视图聚类应用中的一致性和互补性难题；•在HFDCL中引入了基于分层自注意力的学习架构，以捕获局部和全局特征表示，从而保留每个视角所固有的结构特征；•融入了基于信息噪声对比估计的双对比学习模块，通过最大化互补视角特定特征与全局表示之间的表示差异，来提升聚类性能，促进跨多个视角的对比融合；•在六个真实世界的多视图数据集上进行了广泛实验，证明了所提出的HFDCL框架相较于几种现有的先进深度多视图聚类方法具有更优异的性能。

章节节选：

深度多视图聚类：一般来说，深度多视图聚类方法主要分为两类。第一类是生成式方法，包括基于自编码器的方法和基于GAN的方法。前者使用多个自编码器分别处理不同的视角数据，然后通过共享表示来实现聚类。例如，2021年，杜等人提出了基于深度多自编码器的多视图聚类方法，该方法利用自编码器来捕捉非线性结构。

方法：给定一个多视图数据集X={Xv∈RN×dv}v=1V，其中V表示视角数量，N表示样本数量，dv表示第v个视角的维度，多视图聚类的主要目标是将多视图信息有效整合，从而获得更好的聚类结果。然而，视角间不一致性和冗余性等问题大大增加了这一整合过程的难度。为缓解在捕捉跨视角共享语义表示与重建数据之间的矛盾……

数据集：如表1所示，实验中使用了六个公开的多视图数据集来评估所提出的HFDCL方法的效果。

结论：在本研究中，我们提出了一种用于深度多视图聚类的新型分层特征驱动双对比学习框架。该框架通过分层结构化特征学习，区分了一致性目标和重建目标，从而在有效平衡不同视角间的私有信息的同时，保留了每个视角的重要内在特征。特别地，该框架还引入了自注意力机制，用于捕获全局语义表示……

CRediT作者贡献声明：彭思远：撰写——初稿、指导、方法论、正式分析、概念设计。袁宇飞：可视化、软件工具、数据整理。杨晓军：撰写——审阅与编辑、资源协调、项目管理。杨志静：撰写——审阅与编辑、验证。聂飞平：撰写——审阅与编辑。

利益冲突声明：作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢：本项工作部分得到了中国国家自然科学基金（编号：62306080）的支持。