用于混合类型数据聚类的确定性信息瓶颈方法

《Pattern Recognition》：A Deterministic Information Bottleneck Method for Clustering Mixed-Type Data

　　

本文提出了一种基于信息论的方法，用于对混合类型数据（即同时包含连续变量和分类变量的数据）进行聚类。所提出的方法通过广义乘积核（generalised product kernels）将信息瓶颈（Information Bottleneck, IB）原理扩展到异构数据，在统一的优化框架中整合了连续、名义（nominal）和有序（ordinal）变量。研究人员解决了以下挑战：开发了一种系统的带宽选择策略，以平衡不同类型变量的贡献；并提出了一种自适应超参数更新方案，确保在预设数量的潜在不平衡聚类中获得有效解。通过在28,800个合成数据集和十个公开基准数据集上的模拟，研究人员证明所提出的方法（命名为DIBmix）相较于四种已有方法（KAMILA、K-Prototypes、FAMD结合K-Means、以及PAM结合Gower相异性度量）实现了更优的性能。结果表明，DIBmix在聚类大小不平衡、数据具有低或中等重叠度、以及分类变量和连续变量数量相当的情况下表现尤为突出。该方法相较于传统基于质心的算法具有显著优势，使DIBmix成为混合类型数据聚类中一种具有竞争力且理论严谨的替代方案。

**论文解读文章**

**研究背景与动机**

在数据科学领域，聚类分析旨在根据数据内在相似性将观测分组，以揭示隐藏结构。然而，现代数据集日益呈现异质性，常同时包含连续变量和分类变量，即混合类型数据。例如，医疗记录中既有血压等连续测量值，又有性别、诊断代码等分类属性。处理此类数据需聚类方法能有效平衡不同变量类型的贡献。现有方法包括基于模型的高斯-多项混合模型、基于距离的K-Prototypes算法、以及结合因子分析的FAMD与K-Means等。然而，这些方法在变量类型平衡、聚类大小不均衡或数据重叠度变化时表现各异。此外，信息论聚类方法如信息瓶颈（IB）及确定性信息瓶颈（DIB）虽具理论优势，但尚未系统应用于混合类型数据。因此，研究人员提出DIBmix方法，旨在扩展DIB框架以处理混合类型数据，解决带宽选择与正则化参数自适应调整的关键挑战。该研究发表在《Pattern Recognition》上。

**主要关键技术方法**

研究人员采用以下关键技术：第一，基于广义乘积核（generalised product kernels）进行核密度估计（Kernel Density Estimation, KDE），对连续变量使用高斯核、名义变量使用Aitchison & Aitken核、有序变量使用Li & Racine核，构建相似性矩阵P′；第二，提出系统带宽选择策略，通过平均最远邻核比率χ(s)和平均最近邻核比率ζ(s)等指标平衡变量类型贡献；第三，设计自适应正则化参数β更新方案，确保聚类数固定且避免空簇；第四，对大规模数据集采用Nystr?m近似降低计算复杂度。方法基于熵正则化与互信息最大化，实现确定性的数据点分配。

**研究结果**

**1. 模拟实验**
研究人员在28,800个合成数据集上比较DIBmix与KAMILA、K-Prototypes、FAMD/K-Means、PAM/Gower四种方法。结果显示，DIBmix的中位调整兰德指数（Adjusted Rand Index, ARI）最高（0.340），且偏η²值（0.14–0.26）表明其性能提升具有较大效应量。具体而言，DIBmix在聚类大小不均衡、低或中等重叠度、以及分类与连续变量数量相当的情况下表现最优；当分类变量比例过高时，其性能与FAMD/K-Means相近但仍具竞争力。

**2. 公开数据集应用**
在UCI机器学习库的10个数据集上，DIBmix在4个数据集中取得最高ARI值，平均秩次最优（2.45），且所有数据集的ARI均非零（最低0.1739）。其最佳表现出现在变量类型均衡的数据集（如Heart Disease、Adult、Statlog、Australian Institute of Sport）；而在分类变量占主导（如Dermatology）或连续变量占主导（如Echocardiogram）的场景下，其他方法有时更优。此外，DIBmix能通过计算聚类输出与各特征的互信息提供变量重要性量化，如在前列腺癌数据中识别出骨转移、生存状态等关键驱动特征。

**3. 聚类数选择**
研究人员使用信息论方法实现肘部法（knee heuristic）和Gap统计量。肘部法基于互信息I(T;Y)随聚类数增加的曲率变化，在良好分离的数据集中正确识别聚类数达97%，在中等重叠数据中达85%。Gap统计量性能较低，正确率分别为80%和25%（一标准误规则下为84%和34%）。因此，肘部法更适用于DIBmix。

**总结与讨论**

研究人员指出，DIBmix的优势源于其目标函数中的熵项，允许聚类大小不均衡，以及系统带宽选择确保变量类型贡献平衡。局限性包括：带宽选择在某些场景下可能失效；方法隐式假设聚类同质性，当聚类大小或紧致性差异大时单一带宽可能欠佳。未来工作可引入局部或聚类特定信息（如最近邻方法）改进带宽选择，并考虑特征加权、基于P′矩阵谱性质的特征选择，以及通过修剪策略增强对异常值的稳健性。研究结论部分翻译如下：本文引入了DIBmix，一种基于确定性信息瓶颈框架的混合类型数据聚类方法。研究人员描述了其数学基础，分析了超参数的作用，并提出了选择策略以确保不同变量类型对最终划分的贡献均衡。通过递归更新正则化参数β，该方法保证了确切C个聚类的有效划分。模拟研究与公开数据集应用表明，DIBmix与异构数据聚类的最新方法具有竞争力。该框架灵活，可扩展至纯连续或纯分类数据，以及通过适当核平滑技术处理计数等其他数据类型。尽管性能优异，DIBmix存在若干局限：带宽选择对检测聚类结构至关重要，所提策略在特定场景可能失效；方法隐式假设聚类同质性，当聚类大小或紧致性差异大时单一带宽可能次优。未来工作可结合局部或聚类特定信息（如借鉴最近邻方法）解决此问题。尽管如此，DIBmix为异构数据的信息论聚类提供了灵活框架，并开拓了多个研究方向，包括利用扰动矩阵P′的谱性质进行特征加权与选择，以及通过类似修剪K-Means的修剪策略引入观测特定权重以增强稳健性。