《Neurocomputing》:Change-point-based density clustering via adaptive core-boundary identification
编辑推荐:
•为非球形和密度分布不均匀的数据提出了一种复合密度因子。•通过变点分析识别核心和边界实例。•开发了一种图增长框架,用于逐步恢复簇结构。•无需手动调整密度或邻域参数。引言聚类是一种基本的数据分析技术,旨在自动将具有相似特征的样本分组到不同的类别中。它已被广泛用于图像处理[15]、异
- •
为非球形和密度分布不均匀的数据提出了一种复合密度因子。
- •
通过变点分析识别核心和边界实例。
- •
开发了一种图增长框架,用于逐步恢复簇结构。
- •
无需手动调整密度或邻域参数。
引言
聚类是一种基本的数据分析技术,旨在自动将具有相似特征的样本分组到不同的类别中。它已被广泛用于图像处理[15]、异常检测[5]、[6]和电力负荷预测[1]、[24]、[31]等领域。然而,现实世界的数据往往具有非球形几何结构和密度分布不均匀的特点,这使得复杂结构数据的聚类变得更加具有挑战性[7]。在这种情况下,传统的基于质心的方法(如K-means[23]),这些方法假设簇是凸的或超球的,往往无法捕捉到真实的数据结构。因此,如何在较少先验假设的情况下实现复杂结构数据的稳定聚类仍然是一个重要的问题。
现有的研究通过基于密度的建模[11]、[14]、[45]在聚类任意形状和密度分布不均匀的数据方面取得了重要进展。然而,这些方法依赖于几个假设:1)选择少数几个中心或密度峰值来表示簇;2)预先定义邻域大小;3)设置密度截止阈值。尽管一些研究[13]、[32]、[42]探索了基于自然邻域理论的自适应邻域构建[50],但它们的密度表示仍然主要依赖于局部特征。这些依赖性导致了逐步出现的挑战。首先,对于密度分布不均匀的数据,局部集中通常不足以描述样本的聚类潜力。结果,低密度区域的一些样本可能会被赋予错误的重要性。其次,当簇表示进一步依赖于单个中心或少数几个密度峰值时,这种局部错误判断可能会演变成伪中心效应,并降低后续的簇识别效果[21]。这是因为这些方法依赖于局部邻域信息,并且只通过少数几个中心或密度峰值来表示一个簇。
基于图的聚类方法通常避免显式的中心选择,更适合通过连通性建模来恢复任意形状的簇结构。在此基础上,最近的研究进一步结合了邻域图和基于密度的方法来改善结构表示和标签分配[3]、[22]。然而,这些方法往往依赖于额外的程序,如图划分、原型对齐或谱分解,这会增加模型的复杂性,并且可能仍然存在结构破坏、错误连接或鲁棒性有限的问题。因此,如何以较低的模型复杂性可靠地恢复簇结构成为另一个挑战。
为了解决这个问题,我们提出了一种基于变点的密度图聚类方法,称为CDGC,该方法具有自适应的核心-边界识别功能。CDGC将密度建模、代表性核心识别和结构恢复统一在一个框架中,用于复杂结构数据的聚类。在具有不规则形状和密度分布不均匀的合成数据和真实世界数据集上的实验结果表明,所提出的方法具有竞争力和稳定性。
本工作的主要贡献总结如下:
- •
我们提出了一种用于复杂结构数据的聚类框架,避免了手动指定的密度阈值和邻域参数。
- •
我们设计了一个复合密度因子,该因子同时捕捉了局部邻域结构和全局距离分布,并引入了变点分析来自适应地识别簇核心。
- •
我们开发了一种图增长聚类策略,从识别出的核心逐步恢复簇结构,这有助于保持不规则和密度分布不均匀数据上的结构连通性。
本文的其余部分组织如下。第2节介绍背景和相关工作。第3节详细介绍了所提出的CDGC方法。第4节报告了实验结果和分析。最后,第5节总结了本文并讨论了未来的工作。
章节片段
自然邻居
邻域搜索在数据挖掘和模式识别中得到广泛应用,在基于最近邻的方法中,邻域参数至关重要。然而,选择合适的邻域半径往往很困难:过大的半径可能会模糊簇边界,而过小的半径可能会削弱邻域连通性。为了避免手动指定邻域半径,Zhu等人[50]提出了自然邻居(NaN)算法,该算法以数据驱动的方式构建邻域关系。如果两个实例被视为自然邻居...
方法
在本节中,我们详细介绍了所提出的CDGC方法。整体框架如图1所示。
评估
本节提供了全面的实验来评估所提出方法的有效性。
结论
在本文中,我们提出了CDGC,这是一种将自适应核心识别与基于连通性的结构恢复相结合的密度聚类框架。其核心潜力指数结合了局部邻域紧凑性和全局距离结构信息,而变点分析选择初始簇骨架。然后通过图增长和子图连接来恢复初始选定的核心之外的簇结构。这种整合决定了核心选择的阈值...
CRediT作者贡献声明
王胜靖:撰写——原始稿件、软件、方法论、数据整理、概念化。唐斌:撰写——审阅与编辑、监督、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
王胜靖目前在中国南京的河海大学攻读软件工程博士学位。她分别于2021年和2024年获得了河海大学的数学学士学位和统计学硕士学位。她的研究兴趣包括统计机器学习和大型语言模型推理。
王胜靖|唐斌