自适应结构化与一致性集成聚类

《Pattern Recognition》：Adaptive Structured and Consistent Ensemble Clustering

　　

•自适应映射在优化过程中动态调整簇级权重。
•结构项和一致性项无需后处理步骤即可联合优化。
•该方法无超参数，并采用高效的坐标下降算法。

引言
聚类 [1] 是机器学习 [3] 和数据挖掘 [4] 中一项重要的无监督学习任务 [2]，已被广泛应用于图像分割 [5]、文本挖掘 [6]、推荐系统 [7]、模式识别 [8] 和生物信息学 [9]。然而，单一聚类方法依赖于其自身的假设，因此仅适用于具有特定结构的数据，通常对初始化和超参数敏感，且在没有先验知识的情况下难以选择。深度聚类最近也有进展，例如具有焦点损失的收缩特征表示 [10]、置信度驱动的自标记 [11] 和 Wasserstein 嵌入学习 [12]，但同样依赖于架构选择和仔细调优。

集成聚类 [13] 通过将多个基础聚类（由不同方法、参数、初始化或数据子集生成）整合成更优的最终结果来解决这些局限性。通过融合其互补信息，它从多个角度捕获数据结构并提高鲁棒性，因此已被广泛用于医疗诊断 [14]、互联网安全 [15] 和遥感 [16]。

在早期研究中，证据累积聚类 (EAC) [17] 构建了一个共关联矩阵，记录样本对落入同一簇的频率，并通过层次聚类对其进行划分。选择投票 (SV) 和选择加权投票 (SWV) [18] 对齐不同基础聚类的簇标签并通过投票进行融合。概率轨迹累积 (PTA) [19] 从随机游走概率轨迹构建新的相似度度量。然而，这些方法将所有基础聚类或簇视为同等重要，因此低质量的结果可能会损害共识，并且它们关注样本级的共现而忽略了簇级的结构信息。

为了解决这些问题，局部加权证据累积 (LWEA) 和局部加权图划分 (LWGP) [20] 通过集成驱动的效度指数对簇进行加权，稠密表示集成聚类 (DREC) [21] 利用 ?2,1 范数减少异常值的影响，增强集成聚类通过簇间相似性的快速传播 (ECPCS) [22] 通过随机游走在簇相似度图上传播结构信息。尽管这些方法提高了性能，但它们存在三个共同局限性：大多数分配固定权重，无法在优化期间调整；大多数首先构建连续相似度矩阵，然后通过 k-means [23] 或层次聚类 [24] 将其离散化，这会丢失信息；许多需要几个预设定的超参数。

最近，几种方法探索了自适应加权和直接离散输出。SCAC [25] 为每个簇而不是整个基础聚类分配自适应权重，并将共识图构建与谱聚类整合以直接获得离散标签。CDEC [26] 自适应调整权重并添加平衡正则化项，以无需后处理即可产生平衡结果。CEHM [27] 将集成表述为 k-HyperEdge 中位发现问题，结合了聚类视图和样本视图。然而，SCAC 和 CDEC 仍然引入了额外的权衡或平衡参数，而 CEHM 对所有簇分配相等权重。因此，上述三个问题尚未在单一框架中得到共同解决。

最近的无参数多视图聚类也支持这一方向：TPSC [28] 通过公平表示学习自适应地对每个视图的样本进行加权，没有任何超参数，而 TFIR [29] 在细粒度样本级别融合多视图信息。受这些工作的启发，我们提出了自适应结构和一致集成聚类 (ASCEC)。与其离线固定权重或通过额外的权衡参数进行调优，ASCEC 将簇级权重编码在二元映射矩阵中，并在坐标下降过程中与离散结果一起联合更新。本工作的主要贡献如下：

1.我们提出了一种动态簇级加权机制，其中权重由二元映射矩阵隐式携带，并与聚类结果联合更新，既取决于簇的内在质量，又取决于其在基础聚类间的一致性。这消除了现有方法的固定权重局限性。
2.我们设计了一个统一优化框架，将结构学习和一致性学习合并到一个无参数目标函数中，从而联合完成权重分配、异构簇空间对齐和离散标签输出，无需后处理。这避免了两阶段方法的信息损失。
3.该方法无超参数，通过具有三种加速策略的高效坐标下降 [30] 算法求解。
4.在一个合成数据集和九个真实世界数据集上的大量实验表明，与现有集成聚类方法相比，ASCEC 实现了具有竞争力或更优的准确性和鲁棒性。

本文其余部分组织如下：第 2 节回顾相关工作，第 3 节详细介绍了提出的 ASCEC 方法及其优化，第 4 节报告了实验，第 5 节总结了论文。表 1 总结了本文中使用的主要符号。

章节摘要
K-means
K-means 算法是一种经典且广泛使用的聚类方法，通过迭代更新簇中心来最小化样本与其中心之间的总距离。给定样本集 X 和目标簇数 c，其目标函数为：
最小化 Y∈Ind ∑i=1c∑xj∈Ci‖xj?μi‖22，
其中 Ci 表示第 i 个簇，|Ci| 表示其中的样本数，μi=1/|Ci|∑xj∈Cixj 是其中心。K-means 通过交替优化 [31] 来解决此问题：它将每个样本分配给最近的中心并

形式化
ASCEC 的核心思想有两个方面。首先，它为每个基础聚类引入一个映射矩阵，将异构簇映射到统一空间，并在优化过程中动态调整簇到类别的分配，从而实现自适应簇级加权。其次，它在单一框架中统一了结构项和一致性项，从而使每个基础聚类的内部结构和基础聚类之间的一致性得到联合优化。这

实验设置
为了评估 ASCEC 的有效性，我们在一个合成数据集和九个真实世界数据集上进行了实验。Two-moon 是一个包含 400 个样本的合成数据集，具有清晰的非线性可分结构。这九个真实世界数据集涵盖图像识别、生物医学分析、语音处理和文本分类，且在样本大小、特征维度和类别数量上存在显著差异。它们均可公开获取自 UCI 机器学习库，且它们的

结论
本文解决了现有集成聚类方法中的三个问题，即固定权重分配、两阶段处理造成的信息损失以及超参数调优的负担，并提出了自适应结构和一致集成聚类 (ASCEC)。该方法在单一优化框架中统一了结构学习和一致性学习，通过自适应映射机制实现簇级动态加权，并输出离散聚类标签

CRediT 作者贡献声明
杨顺：撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，项目管理，方法论，调查，形式分析，数据整理，概念化。
彭亚丽：撰写 – 审阅与编辑，监督，资源。
薛晶晶：撰写 – 审阅与编辑，监督。
聂飞萍：撰写 – 审阅与编辑，形式分析，概念化。
刘志刚：监督，资源。

关于稿件准备过程中使用生成式人工智能和人工智能辅助技术的声明
在本工作准备期间，作者使用 Claude (Anthropic) 进行英语语言润色和 LaTeX 格式调整。所有研究内容，包括概念化、方法论设计、实验实施、数据分析以及所有实质性内容的撰写，均由作者完全完成。作者根据需要审查和编辑了输出，并对发表文章的内容承担全部责任。

利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢
本工作得到了国家自然科学基金 (编号：62377032, 62477028, 62506278) 和陕西省博士后研究项目资助 (编号：2025BSHSDZZ198) 的支持。

杨顺 | 彭亚丽 | 薛晶晶 | 聂飞萍 | 刘志刚