具有序数解释的单调聚类

《Statistical Analysis and Data Mining: An ASA Data Science Journal》：Monotone Clusters With Ordinal Interpretation

　　

在医疗、金融和社会科学等多个领域，对聚类方法的需求不断增长；理想的方法不仅能够在数据中发现高质量簇，还应在簇之间提供内在顺序，以支持更优的决策制定与风险评估。传统聚类方法虽然在数据分组方面有效，但在提供可解释且结构化的簇方面往往存在不足。本文提出稀疏单调聚类（Sparse MOnotone CLustering, SMOCL），这是一种新型无监督算法，专门针对上述挑战而设计，其核心目标是实现序数可解释性。SMOCL以迭代方式将广义加性模型（generalized additive model, GAM）与聚类技术相结合。SMOCL的一个关键优势在于，能够选择与已识别簇标签具有单调关系的变量，从而显著增强聚类结果的可解释性。该算法的有效性通过合成数据集和真实世界数据集得到了验证。

本文发表于《Statistical Analysis and Data Mining: An ASA Data Science Journal》，针对传统聚类方法难以同时实现高质量分群与簇间序数解释这一长期问题，提出了稀疏单调聚类（Sparse MOnotone CLustering, SMOCL）框架。研究背景在于，聚类分析本质上具有不确定性，研究者通常需要在距离度量、联接方式、簇数设定等方面作出带有主观性的选择；更重要的是，与监督学习不同，聚类问题缺乏明确“真实标签”，因此聚类结果的解释性在实践中尤为关键。许多真实应用场景并不满足仅仅“分组”即可的需求，而是要求得到可排序的亚群，例如依据疾病风险将患者划分为高、中、低组，依据术后结局进行等级划分，或依据功能状态建立分级体系。在体育管理、市场细分、社会科学等领域，也常常希望聚类结果天然带有强弱、高低或优先级含义。然而，已有有序聚类研究仍较有限，且通常存在三方面不足：其一，方法往往依赖外部引导信息，无法真正做到无监督学习；其二，虽然产出有序簇，但簇顺序与观测变量之间缺乏清晰、可解释的函数关系；其三，通常默认所有变量都参与构造聚类，而忽略了只有部分变量真正承担序数结构信号的可能性。正是在这一背景下，研究人员开展了本研究，旨在构建一种完全数据驱动、能够识别与解释序数聚类结构、同时具备变量筛选能力的新方法。

研究人员提出的SMOCL具有三个核心特征。首先，该方法完全无监督，不依赖任何外部先验排序信息，簇的序数性完全由数据学习得到。其次，方法直接估计每个变量与簇标签之间的单调函数关系，从而给出变量如何推动簇排序的函数性解释。再次，方法能够识别真正与有序簇形成相关的变量，剔除无关变量，从而提升解释性。论文建立了单调聚类（MOnotone Clustering, MOCL）的优化目标，并进一步引入稀疏化机制得到SMOCL。其基本思想是：在多维连续变量空间中，假定存在一个非空变量子集，这些变量与潜在簇评分之间具有边际单调关系；通过拟合平滑单调加性函数，将样本映射到一维簇评分，再在该评分上形成有序簇。研究显示，在该框架下，变量的单调函数能够自然诱导簇的顺序，而每个簇的平均得分则可作为相应的簇评分。由于信号变量集合与簇结构是同时估计的，方法不仅能发现有序簇，还能自动筛除无关变量。

就主要技术方法而言，研究以连续型多维观测为对象，模拟研究使用人工生成的同时包含序数簇、名义簇与噪声变量的数据；真实数据分析采用Diamonds数据集和2021赛季美国职棒大联盟（MLB）Batting表现数据。方法上，SMOCL交替执行两个关键步骤：一是在当前簇解下，以簇评分为因变量拟合带单调约束的广义加性模型（GAM），并通过I-spline基函数表示平滑单调函数；二是基于拟合值得到一维表示，再以^k-means更新簇归属。为实现变量选择，研究引入协同范数（cooperative norm）正则化，促使组水平稀疏与系数符号一致；并利用类贝叶斯信息准则（BIC-type criterion）选择调谐参数。簇数_K在模拟与实证分析中还结合聚类稳定性（stability）进行设定。

在方法论部分，论文首先从记号系统与优化目标入手，严格定义了样本矩阵、簇归属矩阵及簇评分向量，并提出MOCL问题。该优化问题通过约束函数均值与方差来解决潜变量评分不可辨识的问题，同时要求各分量函数满足平滑和单调性。研究人员指出，这一问题可以被理解为对^k-means降维思想的非线性扩展：若将函数类限制为线性函数，则MOCL与Factorial ^k-means（FKM）等方法存在紧密联系，但SMOCL并不只是寻求簇间最大分离方向，而是更强调寻找能够表达有意义顺序的方向，因此在存在名义簇与序数簇并存的复杂情形下更具针对性。文章还从理论上论证了，在最优解下，若簇按均值得分排序，则样本的函数值会与簇标签顺序保持一致，这为“簇的序数解释”提供了数学基础。

在算法设计部分，研究人员将求解过程分解为两个交替子问题。其一为单调加性模型（monotone additive model, MAM）估计步骤：在固定簇归属和簇评分时，求解带约束最小二乘问题，利用I-splines保证函数的单调性，并施加和为零约束保证可辨识性。I-splines的使用具有关键意义，因为只有当每组样条系数保持符号一致时，所估计的函数才严格单调。为此，论文采用协同范数正则化，一方面实现组稀疏，相当于以变量为单位进行选择；另一方面鼓励同一变量对应的一组样条系数符号一致，以维护单调结构。其二为基于拟合值的一维聚类步骤（Univariate Clustering with Fitted Scores, UCF）：在函数给定时，将样本映射到一维拟合值空间，再应用^k-means完成簇更新，并按簇中心大小重新排序簇标签。研究人员进一步证明，交替算法会单调降低目标函数，因此保证收敛到局部最优解；虽然由于^k-means目标的非凸性无法保证全局最优，但算法在实践中具有稳定收敛性。调谐参数方面，文章提出先确保符号一致性，再在满足该条件的候选值中，用兼顾拟合残差与模型复杂度的BIC型准则选择最优参数。

研究结果部分首先来自模拟实验。论文设置了一个具有现实代表性的场景：部分变量形成4个序数簇，另一部分变量形成4个名义簇，其余变量为噪声。研究人员通过调节Calinski-Harabasz（CH）指数对应的信号强度，分别考察“名义簇信号增强而序数簇信号固定”和“序数簇信号减弱而名义簇信号固定”两类情况，并用调整Rand指数（adjusted Rand index, ARI）比较不同算法恢复真实序数簇与名义簇的能力。结果表明，SMOCL在名义信号很强时仍能持续识别序数簇；即便序数信号减弱，SMOCL依然稳健地偏向序数结构，而非被名义结构主导。相比之下，VSL在序数簇与名义簇之间表现出摇摆，其他方法则普遍难以在两类簇并存时稳定锁定序数结构。变量选择结果进一步显示，SMOCL对名义信号变化具有较强鲁棒性；即使在序数信号减弱时偶尔纳入部分名义变量和噪声变量，整体上仍优先选择真正构成序数簇的变量。SKM则往往选入更多变量，VSL在剔除噪声方面较突出，但其目标更偏向泛化聚类而非专门识别序数结构。

真实数据分析构成了论文的重要应用验证。“Real Data Examples”部分使用了Diamonds和Baseball两个数据集，并将price与wOBA分别作为不参与聚类、仅用于外部参照的监督性基准变量。研究人员固定所有方法使用相同的簇数，以便将比较聚焦于“聚类解释机制”而非簇数选择差异。t-SNE可视化显示，SMOCL在两个数据集中识别出的簇在低维空间中均表现出明显的单调排列特征；尤其在Baseball数据中，SMOCL得到的簇结构与其他方法明显不同，而其他方法未呈现特定有序对齐，这与模拟实验中“名义簇可能干扰一般聚类方法”的现象相呼应。

在Diamonds数据集中，“In constructing the Diamond clusters”这一结果显示，SMOCL在9个候选变量中仅选择了carat，而SKM与VSL使用了全部变量。估计的边际单调函数表明，carat与簇顺序具有清晰递增关系；进一步与未参与聚类的price对照可见，小carat值簇对应更紧凑且价格变异较小，而大carat值簇内部价格变异更大。该结果说明，SMOCL提炼出一个能够支持明确序数解释的核心变量，并使簇标签与外部价格基准呈现合理对应关系。

在Baseball数据集中，“The top-right and two bottom panels display the estimated marginal monotone functions”部分表明，SMOCL从9个变量中筛选出power、hard和contact三个变量。power与hard在形成序数簇中发挥关键作用，二者均与额外垒打能力和进攻表现密切相关；其中power主要区分簇组（1）、（2）与（3,4），hard主要区分簇组（1）、（2,3）与（4）。contact则与簇顺序呈反向关系，但其估计函数较平缓，这与contact和power之间存在中等偏强负相关一致。进一步对照外部基准wOBA可见，SMOCL簇标签总体上与进攻表现呈正相关，尽管个别相邻簇的wOBA值相近，但整体趋势支持较高簇标签对应较佳打击表现。

在聚类质量与计算效率方面，论文并未回避SMOCL的约束代价。依据CH指数比较，非稀疏方法如KM++和PAM通常获得更高的聚类紧致性与分离度，而SMOCL作为稀疏且带有单调约束的方法，其CH指数略低于部分竞争方法，这是符合预期的，因为该方法的目标不仅是形成紧凑簇，还要满足变量选择和有序解释两个附加要求。尽管如此，在稀疏方法内部，SMOCL的CH表现与现有稀疏替代方法总体可比。运行时间方面，SMOCL与SKM、VSL等稀疏方法处于相近量级，且在Diamond这类样本量较大的数据上体现出较清晰的效率优势。由此可见，SMOCL在解释性、序数结构识别能力与计算可行性之间实现了较好的平衡。

讨论部分指出，本研究解决了聚类分析中一个长期存在但研究不足的问题，即如何在无需外部引导信息的前提下识别具有序数可解释性的簇。与传统依赖先验假设或外部排序信息的方法不同，SMOCL完全由数据驱动，能够发现隐藏的有序结构，并通过平滑单调函数描述变量对簇标签的影响机制。模拟研究提示，在同时存在序数簇与名义簇的场景中，SMOCL倾向优先捕捉序数信号，这使其尤其适合希望得到等级化群组解释的应用。论文同时强调了方法的局限：第一，若数据中并不存在严格序数结构，则估计出的单调函数会趋于平坦，这本身可视为模型适配性的诊断信号；第二，当前算法采用第一主成分作为初始化虽然合理，但不同起点可能得到更优的局部解，未来可考虑引入多主成分或独立成分分析（ICA）方向扩展初始化与模型结构；第三，当前UCF步骤采用^k-means以保证计算效率和理论可处理性，但这也意味着对离群值和重尾分布较敏感，未来若将其替换为^k-medoids或trimmed ^k-means等稳健聚类程序，则需要重新建立相应的优化与收敛理论。

论文结论部分可概括为：研究人员提出了一种新的、完全无监督的有序可解释聚类方法SMOCL，该方法通过将带单调约束的广义加性模型与聚类迭代结合，实现了序数簇识别、变量筛选和函数性解释的统一。无论在模拟数据还是真实数据中，SMOCL均展现出稳定识别序数结构的能力，尤其在序数簇与名义簇并存时相较现有方法更具针对性。其重要意义在于，为医疗风险分层、消费者等级划分、运动员表现分组等需要“可排序群组”而非仅“可分群组”的数据科学问题，提供了一种具有明确统计建模基础、较强解释能力与良好实践可用性的分析工具。