JCF-NMF:通过联合凸融合非负矩阵分解(Joint Convex-Fused Non-negative Matrix Factorization)实现自动分层多视图聚类
《Pattern Recognition》:JCF-NMF: Automatic hierarchical multi-view clustering via Joint Convex-Fused Non-negative Matrix Factorization
编辑推荐:
•提出一个统一的多视图NMF表示学习和聚类框架。•引入联合凸融合惩罚来直接强制跨视图的一致性聚类结构。•在融合过程中自动产生分层聚类结构。•在多个真实世界数据集上优于现有方法的表现。引言多模态和异构数据在计算机视觉[1]、[2]、[3]、生物信息学[4]、[5]、[6]以及社交网
- •
提出一个统一的多视图NMF表示学习和聚类框架。
- •
引入联合凸融合惩罚来直接强制跨视图的一致性聚类结构。
- •
在融合过程中自动产生分层聚类结构。
- •
在多个真实世界数据集上优于现有方法的表现。
引言
多模态和异构数据在计算机视觉[1]、[2]、[3]、生物信息学[4]、[5]、[6]以及社交网络分析[7]、[8]、[9]等领域的迅速普及,使得从多个视角提取一致且互补的信息成为了一个基本但具有挑战性的问题[10]、[11]。多视图聚类旨在揭示不同数据表示之间的内在结构[12],因此吸引了越来越多的研究关注。为了应对这一趋势,人们提出了许多方法上的改进,以有效地整合异构信息并提高聚类的准确性和可解释性。在这些方法中,非负矩阵分解(NMF)[13]因其强大的表示学习能力和固有的可解释性而成为了一种特别有影响力的技术,从而为多视图聚类方法的发展奠定了坚实的基础[14]、[15]。
为了将单视图NMF适应于多视图场景,进一步设计了多视图非负矩阵分解(MultiNMF)[16]用于跨视图信息融合。在MultiNMF中,每个视图被分解为一组非负基矩阵和相应的表示,同时鼓励每个视图的表示与一个共同的共识表示对齐,该共识表示捕捉了它们之间的共享聚类信息。共识表示作为一个统一的嵌入,整合了来自多个视图的可互补信息。在表示学习阶段之后,通常使用k-means或标签分配对这个共享嵌入进行聚类。
后续的研究继续遵循这一框架,近年来,研究人员在此基础上提出了各种改进措施,以进一步提高聚类性能——例如,通过引入深度架构来捕捉非线性结构[17]、[18],结合图正则化来保持局部几何形状[19]、[20],使用鲁棒损失函数来处理噪声[21]、[22],利用半监督信息来指导表示学习[23]、[24],[25],或者使用基于张量的建模来捕捉跨视图的互补信息[26]、[27]。
尽管基于MultiNMF的聚类方法已经取得了显著的性能改进,但大多数方法仍然在传统框架内运作,因此不可避免地继承了其缺点。首先,大多数现有方法仍然采用顺序优化框架,其中表示学习和聚类是分开优化的。现有研究通过引入各种结构约束(如图正则化、流形保持、共识学习和鲁棒正则化)显著改善了潜在表示学习。然而,所学习的潜在表示并没有针对聚类目标进行明确优化,因此可能与下游的聚类任务不一致。更重要的是,一旦潜在表示被学习出来,它们在后续的融合或聚类阶段就会保持不变。因此,聚类过程只能利用已学习的表示,而不能根据优化过程中发现的聚类结构进一步细化它们。结果,聚类信息无法反馈到表示学习中,表示学习和聚类之间的相互作用仍然受到限制。因此,最终聚类解决方案的质量最终受到表示学习阶段获得的潜在表示的制约。其次,许多现有方法主要集中在表示级别的对齐上,而没有充分利用数据中嵌入的跨视图一致聚类结构。此外,大多数当前模型涉及复杂的公式和大量的超参数,这进一步增加了实际实现和参数调整的难度。
为了解决上述问题,本文提出了一种简单而有效的基于MultiNMF的一步聚类方法,称为通过联合凸融合非负矩阵分解(JCF-NMF)的自动分层多视图聚类。具体来说,我们在每个视图学习到的低维表示基础上,将它们连接成一个统一的表示,并在这个组合表示上引入一个联合凸融合惩罚。该惩罚使用范数来衡量统一空间中样本对之间的差异,并强制所有视图之间的一致性聚类结构,从而实现多视图信息的整合。随着惩罚因子的增加,这个惩罚项逐渐减少连接表示之间的差异,促使它们自然合并,并朝向共享的聚类结构对齐。在这个融合过程中,JCF-NMF能够自适应地生成分层聚类结构,从而提供多粒度聚类结果并提高模型的灵活性。此外,JCF-NMF仅依赖于一个超参数来控制融合过程,大大简化了模型调优并提高了实际应用性。
与现有的MultiNMF变体不同,所提出的JCF-NMF并不是为了引入另一种表示正则化,而是通过联合凸融合将表示学习和聚类整合到一个统一的优化框架中。虽然许多现有方法利用图结构,但它们主要使用图正则化在表示学习期间保持局部几何关系。相比之下,所提出的联合凸融合正则化利用图派生的样本亲和力来逐步融合潜在表示,从而在优化过程中明确促进聚类结构的形成。此外,与传统的在表示学习后构建分层分区的层次聚类方法不同,JCF-NMF通过连续的融合过程自然产生了分层聚类路径。因此,JCF-NMF在统一的优化框架内同时实现了表示学习、聚类结构学习和分层聚类。
本工作的主要贡献可以概括如下:
1. 新颖的一步多视图框架:我们提出了一个统一的一步框架,它在MultiNMF多视图范式内同时执行多视图表示学习和聚类。这一设计有效地克服了传统两步多视图方法的基本限制,并显著提高了聚类性能。
2. 自适应的分层多视图聚类结构:在多视图表示融合过程中,所提出的方法可以自适应地构建相应的分层结构。随着正则化参数的增加,算法逐步揭示从细粒度到粗粒度的分层模式。因此,它可以自动揭示多视图数据中嵌入的潜在分层关系和多级结构,从而在分析复杂的多视图数据集时提供了更大的灵活性和可解释性。
3. 模型简化:与大多数基于MultiNMF的聚类方法不同,所提出的方法仅依赖于一个超参数,这大大简化了调优过程,并提高了模型在实际多视图应用中的可用性。
4. 广泛的实验验证:在多个基准数据集上进行的全面实验表明,所提出的方法在聚类准确性方面始终优于几种现有的MultiNMF变体,证实了其鲁棒性、效率和卓越的性能。
本文的结构如下:第2节提供了相关研究的简要回顾。第3节详细描述了所提出的算法,包括其核心思想和实现过程。第4节通过广泛的实验结果验证了所提出方法的有效性和优越性。最后,第5节总结了本文并讨论了未来研究的潜在方向。
章节片段
相关工作
在本节中,我们首先回顾了与我们的研究密切相关的几项基础研究工作,涵盖了两个关键方面:凸聚类和NMF。随后,我们详细介绍了基于MultiNMF的现有研究。
JCF-NMF
在本节中,我们详细阐述了我们的方法。以下单独的小节分别提供了其模型公式、优化方案和聚类分配。
实验和分析
在本节中,我们首先将JCF-NMF与几种广泛使用的多视图数据集上的几种现有方法进行比较,以验证其聚类性能。随后,我们通过树状图直观地展示了JCF-NMF揭示的多粒度分层聚类结构。接下来,我们通过实证验证了JCF-NMF比传统的MultiNMF对初始值的鲁棒性更强。这个实验的动机是,传统的MultiNMF依赖于
结论
本文提出了一种新颖的一步基于MultiNMF的聚类方法JCF-NMF,它在多视图表示矩阵上引入了一个联合凸融合惩罚,以实现表示学习和聚类的联合优化。这种设计有效地揭示了跨视图的一致聚类结构,并自动生成了多粒度分层聚类。在多个真实世界数据集上的实验表明,我们的方法优于现有的方法,实现了
CRediT作者贡献声明
林云霞:写作——审阅与编辑,写作——原始草稿,验证,监督,资源管理,方法学研究,资金获取,形式分析,概念化。胡浩宇:写作——审阅与编辑,写作——原始草稿,可视化,验证,方法学研究,数据管理,概念化。李本田:写作——审阅与编辑,监督,项目管理,方法学研究,资金获取,
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国国家自然科学基金(项目编号NO.62306265)和江苏省自然科学基金(项目编号BK20230564)的支持。感谢所有开放心态的研究人员提供的代码和研究资源。感谢所有匿名审稿人的帮助。
林云霞|胡浩宇|李本田|李海康|张玉佳