具有拓扑感知的多核学习方法在集成聚类中的应用

《Patient Education and Counseling》：Topological-aware Multiple Kernel Learning for Ensemble Clustering

集成聚类通过多核学习捕捉样本相似性，结合拓扑相似性去噪和高效锚点方法优化计算，显著提升聚类精度。

　　

Jiaxuan Xu|Lei Duan|Xinye Wang|Liang Du

四川大学计算机科学学院，中国成都610065

摘要

集成聚类通过整合一组基础聚类结果来获得更准确的共识结果。大多数现有方法将基础聚类结果转换为共关联（CA）矩阵，该矩阵描述了样本属于同一簇的频率。然而，这些方法仍然在样本相似性关系的学习上存在不足，忽略了从多个角度捕捉更全面的相似性关系。为了解决这个问题，我们提出了一种称为拓扑感知多核学习用于集成聚类（OMELET）的方法。具体来说，OMELET使用多个核函数从多个角度重新测量样本之间的相似性。为了充分利用不同核空间中的样本相似性关系，OMELET采用多核学习来学习一个共识核并获取样本之间的相似性矩阵。为了消除融合核空间中捕获的相似性矩阵中的噪声，OMELET利用高度相似邻居之间传播的拓扑相似性来重塑相似性图。最终，OMELET捕获了一个表示样本相似性关系的拓扑亲和矩阵。此外，为了使OMELET能够处理大型数据集，我们推导出了一个名为OMELET-SV的变体，它利用锚点来构建基于锚点的核矩阵，从而提高计算效率。广泛的实验结果表明，OMELET的性能优于18种代表性方法。

引言

集成聚类的目标是将一组基础聚类结果整合起来，以获得更准确和稳健的结果。集成聚类应用于多个领域，包括医学诊断[1]、社区检测[2]和油价预测[3]。基础聚类结果可以由不同的聚类算法生成，或者由相同的聚类算法使用不同的超参数生成[4]。此外，原始特征对集成聚类是透明的[5]，这赋予了集成聚类无特征的特性，使其比其他聚类算法更具挑战性[6]。

由于基础聚类算法的局限性，生成的基础聚类结果可能包含大量错误的标签。因此，直接对齐包含大量错误标签的基础聚类结果可能会导致显著的偏差。大多数现有的集成方法将基础聚类结果转换为共关联（CA）矩阵，该矩阵反映了每对样本被基础聚类算法分组到同一簇的频率。这些方法通过两种方式学习样本相似性。第一种方法将样本在同一个簇中的频率视为它们的相似性，并通过图学习或其他方法捕捉更精细和可靠的相似性关系。第二种方法使用过滤或提取技术重新测量样本之间的相似性关系。无论如何，这些方法在充分考虑样本相似性方面仍然存在不足，缺乏从多个角度捕捉相似性的能力。我们用示例1来说明这个问题。

示例1

图1展示了基于CA矩阵的单视图和多视图相似性学习之间的比较。现有的单视图方法仅基于CA矩阵的固有属性（即样本被共同分配到同一簇的频率）来测量相似性，并相应地学习一个加权或重新定义的CA矩阵。然而，这样的方法仍然难以捕捉CA矩阵中缺失的信息（例如，样本1和样本3之间的相似性）。相比之下，通过利用核技术在多个核空间中重新评估样本相似性，可以有效地丰富相似性信息。得到的多个相似性矩阵捕捉到了样本之间更多样化的关系，有助于恢复更完整的样本相似性结构。

为了解决这个问题，我们提出了一种称为拓扑感知多核学习用于集成聚类（OMELET）的方法。OMELET方法的动机是：（i）核学习策略可以将CA矩阵的行作为样本特征映射到再生核希尔伯特空间（RKHS），在那里样本之间的相似性关系可能会发生变化（不依赖于原始样本特征有助于保持无特征的特性）。多核学习使OMELET能够从多个角度捕捉不同的样本相似性关系，并学习一个共识核来捕捉更稳定的样本相似性关系。换句话说，如果样本之间的相似性关系在多个核空间中保持一致，它们属于同一类的可能性就更高。（ii）从共识核（核空间的融合）学到的样本相似性关系可能包含噪声。拓扑相似性学习旨在通过高度相似的邻居传播样本的拓扑相似性，并可以消除噪声。当样本和高度相似时，应用拓扑相似性学习有助于对齐所有其他样本与样本和的关系。具体来说，当样本与样本的连接存在噪声时，拓扑一致性将消除这种噪声连接，样本将与和都没有连接。

OMELET首先基于CA矩阵形成一组基础核。为了捕捉每个核中包含的样本相似性关系，OMELET通过融合基础核并应用自适应加权方法来加权基础核来学习一个共识核。然后，OMELET通过在共识核内进行自表达学习来捕获样本相似性矩阵。接下来，OMELET通过捕捉样本之间的拓扑相似性来消除噪声。通过拓扑相似性学习，OMELET可以捕获一个更紧凑、去噪的拓扑亲和矩阵。最后，对拓扑亲和矩阵应用谱聚类来获得共识结果。与其他集成聚类方法相比，OMELET的独特之处在于它整合了来自多个核视角的相似性关系，并通过捕捉样本之间的拓扑相似性来增强噪声鲁棒性，这对于提高集成聚类的准确性至关重要。需要注意的是，OMELET仅依赖于基础聚类结果，而不访问原始样本特征，从而保持了集成聚类的无特征特性。此外，为了提高OMELET方法对大规模数据集的可扩展性，我们提出了OMELET-SV。它利用锚点来构建基于锚点的核矩阵，从而提高计算效率。

本文的主要贡献如下：

我们提出了一种新的集成聚类方法OMELET，它将多核学习和拓扑相似性学习整合到一个统一的框架中。

OMELET从多个角度捕捉样本相似性关系，并设计自适应的基础核权重来学习一个共识核，从而解决了选择适当核函数的问题。

OMELET利用拓扑相似性学习来消除融合核空间中捕获的相似性矩阵中的噪声。与18种代表性方法在13个数据集上的实验结果比较证明了OMELET的有效性。

我们提出了一个适用于大规模数据集的可扩展版本OMELET-SV。它利用锚点来构建基于锚点的核矩阵，从而提高计算效率。

部分摘录

集成聚类

一般来说，集成聚类方法大致可以分为基于基础聚类选择的方法和基于共识函数的方法[7]。许多基于共识函数的方法通过加权基础聚类或引入学习范式和理论来提高集成聚类的性能[8]、[9]。例如，Huang等人提出了局部熵加权方法[10]。Zhou等人将自适应学习框架引入了集成聚类[11]、[12]。Jia等人提出了

初步

给定$X=\{x_1,x_2,..,x_n\}$和$\Xi =\{C^1,C^2,..,C^m\}$，其中$C^{}=\{{\pi }_1^j$是第$C^{}=\{{\pi }_1^j$是第$C^{}=\{{\pi }_1^{,}$是第$C^{}=\{{\pi }_1^{,}$$C^{}=\{{\pi }_1^{,}$是C^j中的第$C^{}=\{{\pi }_1^{,}$

实验

所有实验都在一台配备AMD EPYC 7763 64核处理器（2.45 GHz CPU）、两个NVIDIA GeForce RTX 2080 Ti GPU和128 GB内存的PC上进行，运行Windows 10 Professional操作系统。算法是在MATLAB（R2023b）中实现的。代码可在https://github.com/ZhangYid/OMELET/tree/main/OMELET获取。

结论

在本文中，我们提出了一种基于多核和拓扑相似性学习的集成聚类方法OMELET。为了解决现有方法中样本相似性学习单一性的问题，我们引入了多核学习从多个角度捕捉样本相似性。我们从多个基础核中学习一个共识核，并通过参数敏感性实验验证了OMELET方法对核函数参数的不敏感性。然后，我们

CRediT作者贡献声明

Jiaxuan Xu：写作——审稿与编辑，撰写——原始草稿，可视化，验证，方法论，调查，形式分析，数据整理。Lei Duan：写作——审稿与编辑，资源，方法论，资金获取。Xinye Wang：资源，方法论，数据整理。Liang Du：监督，方法论，调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（62472294）和Grant 2024ZD0607700的支持。