基于“最近邻”准则的混合数据聚类

《Neurocomputing》：Mixed data clustering based on -tightest neighbors

　　• 提出了一种新的TNC框架，用于高效地进行混合数据聚类。
• 建立了MTNCIS理论，以实现精确的自然簇划分。
• 该方法避免了预先定义簇数和严格的分布假设。
• 该方法考虑了实例之间的双向相似性，从而提高了聚类的准确性。

### 引言
数据聚类是一种将对象分组的方法，同一簇中的对象非常相似，而不同簇中的对象则明显不同[1]。换句话说，对于一组数据实例，聚类的基本问题是将它们划分为尽可能相似的组[2]。聚类分析的主要目的是揭示数据中的内在模式或结构。在实际应用中，它在包括生物信息学、协同过滤、客户细分、数据探索、数据汇总、动态趋势检测、信息检索、市场篮子分析、医学诊断、多媒体数据分析、社交网络分析、文本挖掘和网络分析等多个领域发挥着关键作用[3][4]。

然而，在现实世界中，这些数据集通常包含多种类型的属性，如数值属性和分类属性。与数值属性不同，数值属性在欧几里得空间中有明确定义的距离，而分类属性不能进行算术运算。由于它们缺乏明确的数值意义，并且不同属性值之间存在概念上的差异，分类数据缺乏一个定义良好的相似性空间。因此，迫切需要能够适应不同数据类型的方法，同时不简化数据集。

根据Ghattas和San-Benito的研究[5]，当前处理混合数据的方法主要分为两大技术方向：
1. **基于距离/分区的方法**：这些方法通过引入修改后的度量（如Gower距离或联合距离）来适应混合属性。代表性算法包括K-Prototypes（KPT）和Convex K-means。
2. **基于概率模型的方法**：这些方法的核心假设是数据由潜在的概率分布生成。代表性研究包括KAMILA（一种适用于大规模数据的半参数方法）、潜在类模型（LCM）和混合贝叶斯网络（MBNs）。

当前研究中的另一个重要趋势是强调算法的可解释性和层次建模。Guérard和Djebali[6][7]提出使用预拓扑空间理论中的伪闭包运算符来定义邻居关系，从而无需进行降维，从而保留数据的原始逻辑结构。同时，Y. Zhang等人提出的自适应微分区和层次合并（AMPHM）框架通过邻居粗糙集（NRS）理论构建了一个统一的相似性度量。通过利用“微分区”和“层次合并机制”，该框架解决了预先定义簇数K的问题以及分布偏差的问题，显著提高了在复杂分布下的聚类准确性。

确定数据集中的真实簇数是聚类分析中最关键和最具挑战性的任务之一[9]。传统方法主要依赖于肘部法则（基于平方误差和SSE的下降率）和轮廓系数方法（基于簇内凝聚力和簇间分离），这两种方法都存在一定程度的主观性。最近的研究出现了一些更多样化的方法来选择真实的簇数，包括：基于统计离散度的Gap统计[12]、基于谱聚类中特征值变化的A. Ng方法[13]、基于信息论失真函数的Sugar和James的Jump方法[14]，以及Kalogeratos和Likas提出的基于Dip检验的自适应方法[15]。

随着人工智能和深度学习的发展，基于深度学习的聚类方法变得流行起来。例如深度嵌入聚类（DEC）[16]和基于变分推断的深度生成模型（VaDE）[17]。这些方法通常通过迭代优化特征表示来自动确定簇数，在混合数据聚类中表现出优越的性能。然而，这些方法继承了深度神经网络固有的“黑箱”特性，因此无法克服黑箱模型的缺陷，导致其在处理真实世界数据时的决策过程缺乏可解释性和可追溯性。

尽管已有大量研究，混合数据聚类仍然面临许多挑战：
1. 大多数聚类算法缺乏一个统一的理论框架来处理不同类型变量之间的异质性。
2. 许多聚类算法具有黑箱特性，这严重影响了聚类结构的可解释性。
3. 传统方法高度主观，无法在复杂分布下自动且准确地确定簇数K。

因此，开发一种自适应的、可扩展的、理论上具有保证的混合聚类算法仍然是当前研究的重点和重大挑战。为了克服这些挑战，我们的研究提出了一种基于k最近邻拓扑空间数学框架的新聚类算法。

本文的主要贡献有三个方面：
1. 本文创新性地提出了一个考虑数据点之间双向关联特征的邻居关系定义。在此基础上，我们推导出了核心的拓扑概念，包括最紧密闭包和最小最紧密邻居闭包不变集。在该理论框架的指导下，构建了一种新的聚类算法，称为TNC。
2. 基于闭包拓扑空间的理论，所提出的算法明确界定了簇结构的生成和演化逻辑，并通过针对性调节超参数实现了流形的拓扑分割。
3. 为了解决现有聚类模型对严格数据分布假设或预定义簇数K的过度依赖，我们在TNC框架内设计了一种聚类方案，消除了预先降维的需要。

本文的其余部分组织如下：第2节回顾了与混合数据聚类相关的工作；第3节提供了初步信息和定义，并描述了所提出的TNC算法；第4节提出了一个包含析取范式（DNF）、非线性缩放和基于TNC算法的影响计算的聚类方案；第5节讨论了实验结果；第6节总结了结论并指出了未来工作的方向。

### 相关工作
混合数据聚类的研究从经典的融合策略（将最初为数值或分类数据设计的算法进行适配）发展到基于学习的框架。早期的分区方法将特定类型的距离与手动或学习到的权重相结合[18][19][20]；基于密度的方法在预定义的混合距离上发现任意形状的簇[21][22]；统计度量估计分布感知的差异，然后进行组合。

### TNC模型：定义和理论基础
本节正式化了最紧密邻居聚类（TNC）模型。我们不是孤立地提出定义，而是通过四个逐步步骤构建了该模型，这些步骤共同形成了一个完整的概念框架。首先，第3.1节介绍了Gower距离，作为一种将异构特征映射到可比较相似性空间的统一度量。其次，第3.2节将经典的最近邻关系强化为双向最紧密邻居（TN）关系。

### 算法框架概述
在基于第3节建立的TN模型的基础上，我们现在组装了完整的聚类算法。给定一个混合类型的数据集，算法依次执行四个功能模块：
1. **度量映射（第4.2节）**：将成对的Gower距离非线性缩放到连接强度，从而将度量空间和拓扑空间联系起来；
2. **包含决策（第4.4节）**：对于每个候选点，将其当前闭包施加的聚合影响与阈值进行比较；

### 实验数据集描述和应用场景分析
为了全面验证基于最紧密邻居（TN）模型的混合数据聚类算法在现实环境中的有效性和鲁棒性，本节从UCI机器学习仓库[37]中选择了一系列具有代表性的公共混合数据集进行实验评估。这些数据集涵盖农业、金融、社会科学和医疗保健等多个领域，具有强烈的特征异质性和复杂性。

### 结论
在本文中，我们提出了一种新的聚类框架，称为最紧密邻居聚类（TNC），以解决混合数据聚类的固有挑战，如属性异质性、复杂分布和算法可解释性的缺乏。通过使用Gower距离作为统一的相似性度量，我们构建了双向最紧密邻居（TN）模型。在闭包拓扑空间的理论的指导下，该算法利用最小最紧密邻居闭包（CRediT）来实现聚类。

### 作者贡献声明
Ruan Weijun：撰写 – 审订与编辑、撰写 – 原始草案、可视化、验证、方法论、调查、数据整理、概念化。
Wen Luosheng：监督、方法论。

### 竞争利益声明
作者声明没有任何已知的竞争财务利益或可能影响本文工作的个人关系。
Ruan Weijun：2026年获得中国重庆大学的统计学学士学位，目前是北京大学的研究生，主修量化金融和金融科技。他的当前研究兴趣是聚类分析。