基于证据理论的先验约束多视图聚类

《Neurocomputing》：Prior-constrained multi-view clustering with evidence theory

　　

陈正南|吴春明|方子涵|范萍|李金波|王世平

福建农林大学计算机与信息科学学院，福州350002，中国

摘要

多视图聚类旨在利用来自多个视图的互补信息来揭示潜在的簇结构。然而，许多基于约束的方法依赖于外部提供的标签或成对约束，这限制了它们在完全无监督环境中的适用性。同时，视图质量的差异可能会导致不确定性以及视图间的冲突，从而使得可靠的多视图融合变得复杂。为了解决这些挑战，我们提出了一种基于先验约束的多视图聚类框架，该框架将证据融合与可靠性折扣以及自动生成的“无法连接”约束整合在一个统一的框架中。前者通过考虑可靠性来进行聚合过程中的视图间不确定性处理，而后者则抑制不可靠的样本关联，从而在异构条件下改善多视图融合的效果。在八个真实世界数据集上的广泛实验表明，所提出的框架比现有最先进的方法表现更好。

引言

聚类分析[1]、[2]已广泛应用于数据挖掘[3]和模式识别[4]领域。经典的聚类方法包括K-means[5]、层次聚类[6]、DBSCAN[7]和谱聚类[8]等。这些技术能够在单一特征空间内高效地对数据进行分组，为聚类任务提供解决方案。由于它们的简单性和有效性，它们已被广泛应用于众多领域[9]、[10]。与此同时，深度学习作为一种有前景的聚类方法应运而生，它能够从复杂数据中提取高级特征。基于深度学习的聚类方法通过自动学习层次特征和生成新的特征表示[11]、[12]，展示了显著的优势。这些表示有助于发现数据中的内在模式和聚类结构，从而提高聚类的准确性。

在许多实际应用中，数据来自不同的来源或传感器，每个来源或传感器都提供了对同一对象或事件的独特而互补的见解。例如，社交网络用户档案、互动和多媒体内容提供了不同的但互补的视角。然而，单视图方法在处理此类数据时存在固有的局限性。当需要联合整合和建模来自多个视图的异构信息时，这些局限性尤为突出。这些挑战凸显了多视图聚类方法的重要性，这些方法能够有效整合多种数据模式，同时保留每个视图的独特特征。

多视图聚类方法包括谱聚类[13]、多核聚类[14]、[15]、基于张量的方法[16]和子空间聚类[17]等。尽管有这些发展，现有的多视图聚类研究仍面临相当大的挑战。一个主要问题是多视图数据的显著异构性。不同视图在数据维度、特征空间和噪声水平上往往存在差异，导致结构上的异质性。这种异质性增加了信息融合的复杂性，并阻碍了对整体数据结构的准确表示。此外，不同视图之间的数据差异可能导致跨视图关联的严重偏差。在融合过程中，这些差异可能会引入特定于视图的噪声，最终影响聚类结果的准确性和一致性。

多视图聚类的一个关键挑战在于减少或消除噪声和虚假相关性。另一个关键挑战是处理视图间的固有不确定性，这种不确定性通常源于视图间的冲突。解决这些冲突对于提高聚类性能和确保数据整合的可靠性至关重要。尽管许多现有的多视图聚类方法通过权重分配或优化机制[19]、[20]来尝试解决这些问题，但不确定性及视图间的冲突仍然没有得到充分解决。证据理论通过采用基于基本概率分配（BPA）的灵活信念表示框架，解决了传统概率模型的局限性。BPA为假设空间中的每个子集分配信念程度，根据可用证据量化对每个子组的信心。在这个框架内，使用信念组合机制来聚合来自多个证据源的信息并处理不确定性。然而，当前基于证据理论的方法[21]主要侧重于利用数据驱动的证据，相对较少关注结合先验约束。先前的研究[22]、[23]表明，“无法连接”先验约束提供了有价值的补充信息，可以提高聚类方法的整体效果。

在本文中，我们提出了一种新颖的多视图聚类方法，称为基于证据理论的先验约束多视图聚类（PCMvC）。其核心思想是开发一个统一的框架，该框架结合了受证据启发的融合和自动生成的先验约束，以解决视图间冲突和虚假相关性。受证据启发的融合通过考虑可靠性的聚合来处理视图间的不确定性，而“无法连接”约束通过抑制不可靠的样本关联来提供结构指导。具体来说，PCMvC使用特征过滤模块来细化特定于视图的表示，然后进行多视图图构建，并通过结合约束进行后续融合，以获得最终的共识表示。图1展示了所提出的PCMvC的概览。本文的主要贡献总结如下：

• •
  基于高度不相似样本对之间的跨视图一致性，开发了一种完全无监督的机制，用于自动挖掘可靠的“无法连接”约束。
• •
  开发了一种考虑可靠性折扣的证据聚合框架，以明确处理多视图融合过程中的视图不确定性和冲突，从而构建更稳定的共识图。
• •
  通过在多个真实世界多视图数据集上的广泛实验，验证了所提出框架的有效性。

本文的其余部分组织如下：第2节回顾了该领域的相关工作。第3节详细介绍了所提出的PCMvC方法。第4节展示了在真实世界数据集上的实验结果，第5节对本文进行了总结。

章节片段

相关工作

本节回顾了多视图聚类和受限聚类的相关研究，并讨论了在聚类任务中使用证据理论框架的先前研究。

提出的框架

本节详细介绍了所提出的PCMvC框架的构建和实现。表1总结了本文中使用的所有符号。

实验

为了验证所提出框架的有效性，本节展示了在八个真实世界数据集上进行的广泛实验，并与多种基线方法进行了系统比较。

结论

在本文中，我们提出了一种基于证据理论的先验约束多视图聚类方法。该方法引入了一个特征过滤模块来提取主要特征，减少噪声的影响，并优化数据表示。采用受证据启发的融合策略来融合来自多个视图的图邻接矩阵，整合了来自不同视角的相关信息，而“无法连接”约束有助于排除不应连接的数据点。

CRediT作者贡献声明

陈正南：撰写 – 审稿与编辑，撰写 – 原稿，概念化。吴春明：可视化，验证，形式分析，数据管理，概念化。方子涵：调查，形式分析，数据管理。范萍：项目管理，调查，形式分析，数据管理。李金波：调查，资金获取，形式分析，概念化。王世平：可视化，验证，资金获取，形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本工作部分得到了中国国家自然科学基金（项目编号U25A20527和62276065）和福建省自然科学基金（项目编号2024J01510026）的支持。

陈正南于2022年获得计算机科学与技术学士学位。他目前在中国福建省福州市的福建农林大学攻读硕士学位。他的当前研究兴趣包括多视图学习、表示学习和机器学习。