基于学习增强共识邻接矩阵的集成聚类方法

《Neurocomputing》：Ensemble clustering method via learning enhanced consensus adjacency matrices

　　

摘要基于成对相似性的集成聚类方法近年来已显示出巨大的潜力。然而，现有方法仍面临两大主要挑战：（1）它们往往无法充分利用嵌入在多阶邻接矩阵中的成对样本之间的高阶一致性，（2）它们忽略了在高阶张量空间中探索标签空间与特征空间信息之间的相关性。为了应对这些挑战，我们提出了一种名为 ECM-LECAM 的新型集成聚类方法。首先，从标签空间和特征空间中分别提取多阶样本关系，以构建相应的多阶邻接矩阵集。然后，引入高阶成对一致性的概念，从多阶邻接矩阵中挖掘高度可靠的一致性信息，从而构建高阶一致性矩阵。基于这些矩阵，开发了一个集成聚类框架，以学习每个空间的增强共识邻接矩阵。此外，采用图张量学习来联合建模增强共识邻接矩阵，从而探索不同共识邻接矩阵之间的相关性，促进信息的传播和交互。最后，对共识邻接矩阵施加拉普拉斯秩约束，以直接获得离散聚类分配。在多个数据集上的大量实验表明，与代表性的最先进集成聚类方法相比，ECM-LECAM 取得了具有竞争力且往往更优的聚类性能。

引言集成聚类方法 [1], [2], [3], [4], [5], [6], [7], [8] 通过整合多个基础聚类结果来实现增强的聚类性能和鲁棒性。目前，许多集成聚类方法已被广泛应用于机器学习 [9], [10], [11]、数据挖掘 [12], [13], [14] 和生物信息学 [15], [16] 等领域。其中，基于成对相似性的方法因其理论严谨性和简单性而受到欢迎 [17]。基于成对相似性的集成聚类方法的标准流程包括两个关键步骤：首先，构建相似性矩阵（例如，共关联（CA）矩阵 [18]）以表征成对样本关系，其次，应用传统的聚类方法（例如，谱聚类 [19] 或层次聚类 [17]）对该矩阵进行处理以得出最终结果。

迄今为止，提出了一系列基于成对相似性的集成聚类方法 [10], [11], [20], [21], [22]，显著提高了聚类性能。然而，这些方法大多数严重依赖于样本之间的一阶关系。然而，样本不仅与其直接邻居相似，往往也与其高阶邻居相似 [23]。因此，仅依赖一阶关系是不够的。为了解决这个问题，研究人员 [14], [24], [25] 将高阶交互引入了集成聚类领域。例如，Huang 等人 [14] 采用随机游走构建高阶邻接矩阵以学习共识邻接矩阵。Xu 等人 [24] 构建了一组多阶拉普拉斯矩阵以学习最优拉普拉斯矩阵，并将其纳入 CA 矩阵学习过程。Xu 等人 [25] 利用高阶邻接矩阵来弥补 CA 矩阵中潜在缺失的连接。尽管这些方法 [14], [24], [25] 在增强聚类性能方面取得了进展，但它们仍然面临两大主要挑战。

（1）尽管这些方法试图通过整合不同阶邻接矩阵的信息来反映数据的全局结构，但它们往往忽视了探索嵌入在这些矩阵中的隐含成对样本一致性，这可能限制了集成聚类的性能。

（2）尽管一些方法纳入了特征空间（即原始数据集）的信息以弥补仅依赖标签空间（即基础聚类结果）的局限性，但它们往往忽视了在高阶张量空间内探索这两个空间之间的相关性，可能导致次优的聚类性能。

因此，为了解决这些挑战，我们提出以下解决方案：（1）我们提出了成对样本高阶一致性的概念，并据此构建高阶一致性矩阵，以捕捉多阶邻接矩阵中的隐含一致性，将这一信息整合到学习框架中，以有效优化共识邻接矩阵的质量。（2）我们引入张量核范数作为约束，以探索特征空间与标签空间之间的相关性，从而促进这两个空间内共识邻接矩阵之间的信息交换。这些贡献建立在以下文献基础之上：

（1）现有研究 [24], [25] 表明，将不同阶邻接矩阵的信息纳入集成聚类框架可以有效增强聚类性能。如 [26] 所指出的，共识邻接矩阵本质上代表了不同阶局部结构信息的有机整合，从而反映了数据的全局结构。具体而言，每个邻接矩阵体现了与其特定阶数相对应的局部结构信息。然而，当前的学习过程往往忽视了保留嵌入在这些矩阵中的一致性信息，而该信息捕捉了高度可靠的局部结构信息。受此启发，我们旨在保留在所有阶邻接矩阵中一致出现的成对连接，以有效约束共识邻接矩阵的学习。为此，我们提出了“成对样本的高阶一致性”概念，利用跨不同阶的一致成对信息来增强共识邻接矩阵的结构合理性和判别能力。

（2）现有研究 [1], [27] 表明，将特征空间信息纳入集成聚类框架可以有效增强聚类性能，表明特征空间信息是一个有价值的补充。然而，现有方法往往忽视了在高阶张量空间内探索标签空间与特征空间之间的相关性。如 [28] 所建议的，高阶张量空间可以揭示样本关系的潜在空间结构，从而提高聚类性能。基于这一见解，我们将两个空间的共识邻接矩阵堆叠成三阶张量，以探索它们的相关性并促进两个共识邻接矩阵之间的信息传递。

综上所述，本研究提出了一种名为 ECM-LECAM 的新型集成聚类方法。具体而言，我们在特征空间和标签空间中构建了一组多阶邻接矩阵，以全面表征不同阶数下样本之间的结构关系。随后，引入成对样本之间高阶一致性的概念以构建相应的高阶一致性矩阵。在此基础上，设计了一个集成聚类框架，以从各自的多阶邻接矩阵和高阶一致性矩阵中推导出两个空间的增强共识邻接矩阵。此外，通过图张量学习将两个共识邻接矩阵堆叠成三阶张量，有效捕捉它们之间的相关性并促进信息传递。最后，通过对增强共识邻接矩阵施加拉普拉斯秩约束，可以直接获得离散聚类分配，从而无需额外的后处理步骤。本研究的主要贡献有四点：

（1）引入成对样本之间高阶一致性的概念，以显式地强制执行跨多阶拓扑邻域的一致局部连接，这补充了从加权多阶整合中学习到的全局结构，从而显著增强了共识邻接矩阵。

（2）开发了一种新的集成聚类框架，通过三阶图张量学习共同利用标签空间和特征空间中的共识邻接矩阵，促进两个空间之间的互惠信息传播。

（3）通过将拉普拉斯秩约束直接纳入统一目标函数，最终获得具有离散聚类分配的共识邻接矩阵，无需额外的后处理算法。

（4）实验结果表明，ECM-LECAM 在所有采用的数据集上保持了至少与当前方法相当的聚类性能。

为了便于阅读和理解，我们在表 1 中总结了主要的数学符号。

本文的其余部分组织如下：第 2 节介绍 ECM-LECAM 的预备知识和相关工作。第 3 节详细介绍了 ECM-LECAM。第 4 节展示了 ECM-LECAM 的实验研究。第 5 节总结了本研究并介绍了 ECM-LECAM 的未来工作。

章节片段预备知识与相关工作在本节中，我们将简要介绍 ECM-LECAM 的预备知识和相关工作。通过学习增强共识邻接矩阵的集成聚类方法本节详细解释了提出的 ECM-LECAM，其整体工作流程如图 1 所示。首先，我们在标签空间中构建 CA 矩阵，在特征空间中构建相似性矩阵。随后，分别从 CA 矩阵和相似性矩阵中导出两组多阶邻接矩阵。在此基础上，引入两个高阶一致性矩阵——包含成对高阶一致性约束——以增强质量实验研究在本节中，我们进行实验以将提出的 ECM-LECAM 与几种基线方法进行比较。为了确保实验公平性，所有实验都在配备第 14 代 Intel(R) Core i7-14700kf 处理器和 64GB 内存的计算机上进行。结论在本研究中，我们提出了一种名为 ECM-LECAM 的新型集成聚类方法。ECM-LECAM 首先在标签空间和特征空间中构建两组多阶邻接矩阵，并利用这些矩阵中成对样本的高阶一致性来推导相应的高阶一致性矩阵。随后，开发了一个集成聚类框架，以从相应的多阶邻接手稿准备过程中生成式 AI 和 AI 辅助技术的声明在本研究的准备过程中，作者使用了 Google AI Studio 来提高语言质量。在使用该工具后，作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。CRediT 作者贡献声明边泽康：写作 – 审查与编辑，方法论，调查，资金获取。王金伟：写作 – 审查与编辑，方法论，调查，资金获取。戴启东：写作 – 原稿撰写，验证，软件，形式分析，数据管理。曲佳：写作 – 审查与编辑，方法论，资金获取，概念化。娄琼丹：写作 – 审查与编辑，方法论，调查，资金获取。邓昭宏：写作 – 审查与编辑，利益冲突声明作者声明他们没有任何已知的竞争性财务利益或个人关系，可能会影响本论文报告的工作。致谢本工作部分得到了国家自然科学基金（批准号 62306126, 62406229, U20A20228 和 61972181）、国家重点研发计划 2022YFE0112400、江苏省青年科技人才支持项目（批准号 JSTJ2024283）、江苏省自然科学基金（批准号 BK20220621 和 BK20240315）以及高等教育基础科学（自然科学）研究项目的部分支持。边泽康（IEEE 会员）分别于 2015 年、2017 年和 2022 年获得中国无锡江南大学人工智能与计算机学院计算机科学与技术学士学位、软件工程硕士学位和计算机科学与技术博士学位。他在包括 IEEE TNNLS、IEEE TFS、IEEE TCYB 和 Information Fusion 在内的国际知名期刊上发表和合著了 10 多篇论文。他还担任国际边泽康 | 王金伟 | 戴启东 | 曲佳 | 娄琼丹 | 邓昭宏 | 王世通中国江苏无锡江南大学人工智能与计算机系