MambaMVC：学习状态空间模型增强表示以实现对比多视图聚类

《Neural Networks》：MambaMVC: Learning State Space Model Enhanced Representation for Contrastive Multi-View Clustering

　　摘要：深度多视图聚类因其出色的深度特征捕捉能力及处理高维数据的能力而受到广泛研究。然而，现有方法仍存在以下缺陷：（1）它们通常采用单层融合方式，这限制了融合特征全面覆盖关键信息的能力；（2）它们忽视了不同视图之间的复杂依赖关系，从而限制了局部特征的表达能力。为解决这些问题，我们提出了MambaMVC，这是一种用于多视图聚类的强大状态空间模型增强表示模型。具体而言，我们设计了双层特征融合机制以捕获更全面的全局信息。首先，我们引入全局结构引导的特征融合学习模块（GSFL）作为第一层进行样本级融合。在第二层融合中，我们设计了全局双向Mamba模块（GB-Mamba），以捕捉样本之间更为复杂的长期依赖关系，从而减少初步全局嵌入特征与视图特定嵌入特征之间的信息差异。同时，我们使用跨视图双向Mamba模块（CB-Mamba）来增强视图间的信息交流，从而获得更全面的局部信息。此外，我们还利用对比学习来提升不同簇分布之间的标签一致性，有效减少特定视图中误导性信息的影响。最后，我们利用全局目标分布来指导自监督学习中簇分布的优化。在八个多视图数据集上的实验结果证明了所提模型的有效性。我们的代码已公开发布在相应地址。

引言：多视图数据通常描述的是同一对象从不同视角或模态下的多种表现形式（Chen, Wang, Huang, Lai, Yu, 2022a, Fang, Du, Cai, Lan, Wu, Tan, Wang, 2024, Wang, Song, Duan, Zhou, Cheng, 2025）。例如，在不同光照条件下拍摄的同一对象的图像；同一个网站可能包含文本、图片、视频等多种类型的内容；患者的诊断可以依据X光片、诊断报告和血液检测结果等多种信息来源。这些都可以被视为反映同一对象不同视角的多视图数据。多视图数据之间存在潜在的相关性，如何有效挖掘这些信息已成为当代研究的重要焦点。作为无监督学习的一个重要分支，多视图聚类通过提取并整合不同视图中的潜在信息，能够得到更精确的聚类结果。现有的多视图聚类方法大致可分为两类：传统多视图聚类方法（Chen, Huang, Wang, Huang, 2020a, Liu, Liao, Wang, Liu, Zhu, 2024, Zeng, Song, Yang, Wang, Du, Yu, Zheng, 2026）和深度多视图聚类方法（DMVC）（Chen, Zhu, Lin, Wang, 2024, Fei, He, Zhu, Zhao, Wen, Xu, 2025, Trosten, L?kse, Jenssen, Kampffmeyer, 2023, Xu, Ren, Tang, Yang, Pan, Yang, Pu, Yu, He, 2022a）。传统多视图聚类方法主要利用机器学习技术从多视图数据中提取一致的特征表示，从而发现并利用不同视图之间的相关性，进而提升聚类性能。这类方法通常可分为三类：基于矩阵分解的多视图聚类方法（Cheng, Song, Mu, Yu, Zheng, 2024, Khan, Khan, Anwar, Ashraf, Javed, Diallo, 2024）、基于图的多视图聚类方法（Chen, Wang, Lai, 2022b, Zheng, 2024）以及基于子空间的多视图聚类方法（Hu, Nie, Wang, Li, 2020, Yang, Song, Cheng, Liu, Yu, 2025）。然而，传统多视图聚类方法通常依赖于手工设计的特征提取方法和简化的线性变换策略，这使得它们难以深入探索多视图数据中复杂的非线性关系。另一方面，它们在揭示非线性结构方面的能力有限，因此在处理高维数据时效果不佳。这些缺陷降低了传统多视图聚类方法的聚类性能。随着深度学习的快速发展，研究人员将深度学习技术融入多视图聚类框架，以提高其对复杂多视图数据的表征能力，例如基于图神经网络的多视图聚类方法（Tsitsulin, Palowitch, Perozzi, Müller, 2023, Wang, Feng, Lyu, Yuan, 2024, Xia, Wang, Gao, Yang, Gao, 2023）以及基于子空间的多视图聚类方法（Xiao, Dong, Liang, Liu, Wang, Liu, Hu, Zhu, Liu, 2025, Yang, Li, Hu, Bai, Lv, Peng, 2022, Zhou, Wang, Dong, Jin, Liang, Xiao, Li, Liu, Zhu, 2026）。这些方法能够自动学习多级特征表示，从而充分捕捉视图之间的潜在信息。与此同时，复杂的特征融合机制有助于模型获得一致的特征表示。例如，自注意力机制被广泛应用于特征融合模块中（Yan, Zhang, Lv, Tang, Yue, Liao, Lin, 2023, Zhang, Du, Wang, Deng, 2024），因为它们能够有效捕捉样本之间复杂的结构关系。为了提升多视图数据的类内相似度和类间可分性，受（Chen et al., 2020b）的启发，人们提出了多种利用对比学习的深度多视图聚类方法（Bian, Xie, Lai, Nie, 2024, Lin, Gou, Liu, Bai, Lv, Peng, 2022, Zhong, Wu, Chen, Huang, Deng, Nie, Lin, Hua, 2021）。通过设计不同的对比损失函数来对齐和分离不同视图之间的特征表示，这些基于对比学习的深度多视图聚类方法在保持数据结构的同时提升了模型的泛化能力。此外，图学习为学习具有判别性的多视图表示提供了新的思路（Du, Cai, Wu, Pi, Wang, 2024, Liao, Lu, Chen, Du, Chen, Wang, 2026）。通过明确建模图结构并探索更高阶的关系，基于图学习的方法能够有效捕捉跨视图的相关信息，大幅提升表示的判别能力。多视图数据通常包含共享的（视图一致的）和独特的（视图特定的）信息。整合来自不同视图的共享和独特语义，有助于有效捕捉全局结构信息。此外，局部结构信息在揭示数据内部的细微关系方面也起着至关重要的作用。尽管当前的深度多视图聚类方法在以上方面取得了显著进展，但仍然存在以下问题：（1）现有的深度多视图聚类融合方法通常仅限于单层融合，因此忽略了全局嵌入特征与视图特定嵌入特征之间的信息差异，这阻碍了对数据中关键信息的全面覆盖。（2）在捕捉局部结构信息时，这些方法没有考虑视图间的关系，可能导致对视图特定信息利用不足，进而限制了模型的表达能力。为解决上述缺陷，我们提出了一种名为MambaMVC的新深度多视图聚类方法。首先，该模型利用自编码器（Hinton and Salakhutdinov, 2006）重构多视图数据，获取每个视图的嵌入特征。随后，通过GSFL模块获取初步的全局嵌入特征，以探索样本之间的全局结构关系。同时，利用GB-Mamba模块捕捉样本之间更为复杂的长期依赖关系。此外，我们还设计了CB-Mamba模块，以揭示视图之间的复杂依赖关系，从而促进跨视图的信息交流。最后，我们通过对比学习来提升标签一致性，减少特定视图中的误导性信息的影响。之后，利用全局目标分布来指导自监督学习过程中簇分布的优化，从而有效提升聚类精度和整体模型性能。总之，我们模型的主要贡献如下：•我们提出了一种新颖的双层特征融合策略，能够持续捕捉样本之间的依赖关系，确保融合特征全面覆盖关键信息。•我们引入了两种Bi-Mamba特征增强策略，即GB-Mamba和CB-Mamba。GB-Mamba模块能够捕捉样本之间更为复杂的长期依赖关系，从而减少全局嵌入特征与初步全局嵌入特征之间的信息差异。CB-Mamba模块则能揭示视图之间的复杂依赖关系，促进跨视图信息交流，从而获得更全面的局部信息。•实验结果表明，与现有最先进方法相比，所提模型在多视图数据上的性能更为优异。

章节节选：基于深度嵌入的多视图聚类：随着深度学习的进步，由于其卓越的性能优势，它已被广泛应用于多视图聚类领域。与传统多视图聚类方法使用浅层嵌入来学习数据的特征表示不同，深度嵌入聚类方法利用深度神经网络提取更丰富、更具判别性的深度嵌入特征。这些深度特征能更有效地捕捉数据的内在结构，因此在处理复杂数据时展现出更出色的聚类性能。

提出的方法：所提模型的目标是把多视图数据集Xv={x1v,x2v,…,xnv}∈Rn×dv中的n个实例划分为K个簇，其中dv表示第v个视图的特征维度。如图1所示，我们利用自编码器重构多视图数据，获取嵌入特征Zv。这些嵌入特征随后被组合起来形成串联嵌入特征Z。GSFL模块执行第一层融合，生成初步的全局嵌入特征。

实验设置：我们的实验在配备Platinum-8352V CPU@2.10GHz、RTX 4090 GPU（24GB VRAM）以及90GB内存的Linux系统上开展。在实现过程中，对于所有数据集我们都使用全连接自编码器，每个视图都采用相同的编码器（输入层-Fc500?Fc500?Fc2000-输出层）及其对应的解码器。此外，我们通过三种指标来评估聚类性能：准确率（ACC）、归一化互信息（NMI）和纯度（PUR），其中准确率用于衡量分类的正确性。

结论：在本文中，我们提出了一种名为MambaMVC的新型深度多视图聚类方法。具体而言，我们采用双层融合机制来捕获更全面的全球信息。首先，我们使用GSFL模块获取初步的全局嵌入特征，以便探索样本之间的全局结构关系。随后，我们利用GB-Mamba模块捕捉样本之间更为复杂的长期依赖关系。此外，我们还设计了CB-Mamba模块来揭示视图之间的复杂依赖关系。

CRediT作者贡献声明：Zeng Yunpeng：撰写——初稿、验证、软件、方法论、研究、形式分析。Song Peng：撰写——审阅与编辑、指导、方法论、资金获取。

利益冲突声明：作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢：本项工作得到了山东省自然科学基金项目ZR2023MF063以及烟台大学研究生创新基金（GIFYTU）的支持。

Zeng Yunpeng | Song Peng