《Mathematics》：Expectile Sparse Clustering for Mixed-Type Data with Data-Driven Ordinal Scoring
编辑推荐：
高维数据集中同时包含连续型、序数型和名义型变量的情形在现代应用中日益普遍，例如营销分析、生物统计学和社会科学领域。此类情境下的聚类具有挑战性，因为连续变量可能呈现非对称分布结构，序数变量具有自然顺序但缺乏规范的数值间距，而不相关变量可能掩盖潜在的聚类结构。研究
高维数据集中同时包含连续型、序数型和名义型变量的情形在现代应用中日益普遍，例如营销分析、生物统计学和社会科学领域。此类情境下的聚类具有挑战性，因为连续变量可能呈现非对称分布结构，序数变量具有自然顺序但缺乏规范的数值间距，而不相关变量可能掩盖潜在的聚类结构。研究人员提出了ExSC-????，一种面向高维混合型数据的自适应稀疏聚类框架，在统一的变量选择框架内解决上述三个问题。对于连续变量和经Azzalini评分的序数变量，研究人员引入了一种基于expectile的非对称相异性，由??∈(0,1)参数化，当??=12时退化为平方欧氏相异性，并允许方向性差异接受不等的二次惩罚。对于序数变量，研究人员将Azzalini评分变换扩展至无监督情境，通过从聚类质量准则中估计变换参数，从而获得数据驱动的非等距数值表示。对于名义变量，研究人员采用基于共现的相异性以纳入分类变量间的依赖关系。所得的各类型相异性通过独立的-约束变量权重向量和变量级调整的Davies–Bouldin目标函数进行整合。研究人员在明确的信号强度、稀疏性、维度和正则性条件下建立了筛选一致性。涵盖不同聚类数和分布异质性的模拟研究表明，所提出的框架在序数变量恢复以及对称相异性不足的聚类结构中尤为有效。两个实际数据应用——钢铁退火和信用审批——展示了该方法的性能，包括所学序数表示的可解释性、变量选择以及自适应非对称参数。
研究背景：大规模异质数据集在营销分析、风险建模、医疗登记和社会经济调查等领域已无处不在。这类数据集的共同特征是多种变量类型共存：连续测量值（如年龄或收入）、序数评级（如教育水平或满意度评分）以及名义类别（如职业或地区）。当变量数p相对于样本量n较大时，此类数据中群体结构的无监督发现面临多重复合困难：变量类型要求不同的相异性概念，序数水平具有顺序但无规范数值间距，连续变量可能呈非对称分布，且不相关变量可能掩盖聚类结构。经典聚类方法如k-means、层次聚类和高斯混合模型依赖欧氏度量或高斯似然，均假设数据为连续、近似对称且同质，这些假设在高维混合型情境下均被违反：欧氏距离随维度增长而集中且失去信息量，序数变量和名义变量没有自然的欧氏表示，且缺乏变量选择使得噪声变量能够掩盖真实聚类结构。
现有混合型聚类方法包括k-prototypes、Gower相异性和基于模型的方法如VarSelLCM等，近期工作沿两条主线发展：距离与划分方法修改或学习相异性，基于模型的方法将混合模型扩展至混合型数据。然而这些方法虽对变量加权或建模，但均未执行稀疏变量选择，即未将无信息变量的权重精确设为零，而这在p较大时至关重要。在序数变量处理方面，Szepannek等（2012）实证表明朴素序数编码可严重扭曲聚类结构；Azzalini（2005）提出灵活的评分变换为非等距数值评分，但处于有监督回归情境。稀疏聚类方法通过-惩罚特征加权处理高维性，DBI-SC方法通过Davies–Bouldin型准则改进变量特异性判别并容纳混合型数据，但序数变量被当作无序类别处理，不利用其顺序性、不学习数值间距，且对连续变量使用对称相异性。分位数和expectile聚类方法提供对分布形状敏感且对异常值稳健的相异性，但仅限于连续变量且不包含稀疏性或混合型整合。综上，现有方法要么选择变量但将序数变量视为无序或等距，要么处理混合类型和序数变量但保留所有变量。本研究的ExSC-方法在单一优化框架内统一了稳健度量相异性、原则性序数编码、名义共现距离和变量选择。
研究人员开展了以下研究并得出相应结论：第一，用基于expectile的相异性替代标准平方欧氏距离，由参数化，统一应用于连续变量和Azzalini评分序数变量，在时精确恢复标准距离，构成对现有基于DBI的稀疏聚类的严格推广；时相异性对正负差距赋予非对称二次惩罚，捕捉聚类结构中的方向性偏斜，参数从数据中与聚类联合估计。第二，将Azzalini评分编码扩展至无监督情境，通过最大化变量级调整Davies–Bouldin评分从聚类质量准则估计形状参数，产生间距适配于所发现聚类结构的序数评分。第三，将连续和序数相异性与名义共现相异性组合为单一加权成对相异性，对度量和名义变量组分别使用-惩罚权重向量，优化同时将无信息变量权重设为零并精化聚类划分。第四，建立了ExSC-估计量的筛选一致性：在信号强度、维度增长和稀疏参数校准的温和条件下，所有真正有信息变量以趋于一的概率被纳入估计支撑集。据研究人员所知，ExSC-是首个结合混合型数据变量选择、数据驱动聚类导向序数水平数值评分以及可学习非对称（expectile）相异性（应用于连续和评分序数变量）的稀疏聚类方法。
关键技术方法：研究人员提出ExSC-????坐标下降算法，主要步骤包括：对连续变量标准化；通过初步k-means获得临时划分后，利用Nelder–Mead方法最大化变量级调整Davies–Bouldin准则以估计序数变量的Azzalini评分参数（考虑Johnson SU、Tukey g-and-h和sinh-arcsinh三个两参数族）；以加权k-means更新划分（名义变量哑编码）；以软阈值算子更新两组-约束权重向量；以黄金分割搜索更新expectile参数；调优参数K、和通过最小化修改的Davies–Bouldin指数在候选网格上选择。筛选一致性的证明容纳了度量变量的次指数集中和名义变量的Bernstein型集中。模拟研究设置K=2、3、4，两种分布场景（S1尺度异质性、S2偏斜异质性），50次重复，与DBI-SC、VarSelLCM和稀疏k-means比较。实际数据应用使用UCI钢铁退火数据集（n=798）和信用审批数据集（n=690）。
研究结果：（1）模拟研究结果——K=2时，S1下ExSC-的ARI和NMI略低于DBI-SC但序数TPR达1.00而DBI-SC仅0.31；S2下ExSC-的ARI和NMI均为1，序数TPR为1.00。K=3时，S1下两种方法聚类性能相近但ExSC-序数TPR为0.97而DBI-SC为0.28；S2下ExSC-的ARI为0.98、NMI为0.95、CER为0.02，显著优于DBI-SC的0.72、0.73和0.19。K=4时，S1下ExSC-的ARI为0.82、NMI为0.87优于DBI-SC的0.71和0.80；S2下ExSC-的ARI和NMI分别为0.96和0.94，连续和序数TPR均达1.00。（2）消融研究结果——学习主要改善连续变量恢复，学习主要改善序数变量恢复，两个自适应组件提供互补信息而非可互换的修改；完整方法在所有K值下均取得最平衡的性能。（3）估计的expectile参数结果——估计值偏离0.5，随聚类结构异质性增大偏离增大，K=4时约达0.8，表明方法使连续相异性适配数据经验分布。（4）计算时间比较结果——sKmeans最快，ExSC-计算成本高于sKmeans但显著低于DBI-SC，随聚类数增加差异愈发重要。（5）钢铁退火数据集结果——ExSC-取得最佳ARI（0.41）、NMI、DBI、轮廓宽度和Dunn指数，对四个序数变量中的两个（formability和surface_quality）赋予非零权重，估计的非对称参数为0.72。（6）信用审批数据集结果——ExSC-取得最高ARI（0.53）和NMI、最低DBI、最高轮廓宽度和Dunn指数，保留15个变量中的14个，估计的非对称参数为0.71。
讨论部分总结：模拟研究表明聚类准确性和变量选择准确性应联合考虑，仅基于ARI的比较会掩盖科学解释的重要差异；学习到的序数表示是改进的主要来源，ExSC-在所有主要实验中序数TPR至少达0.90，而比较的稀疏竞争方法均未达到；expectile组件在分布异质性下最为有用；消融研究确认两个自适应机制互补；计算结果表明额外灵活性仍然实用。两个实际数据应用提供互补证据，应解释为说明性经验证据而非普遍优越性的证明。研究局限性包括：定理1仅为筛选结果，不保证划分恢复或K、和的相合变量选择；时间和内存为n的二次方；变量评分为单变量因而无法检测变量间交互作用。未来方向包括expectile准则的划分恢复保证、面向大n的可扩展版本以及交互感知的变量评分。
研究结论翻译：本文提出了ExSC-，一种面向结合连续、序数和名义变量的高维数据的稀疏聚类框架。三个设计选择使其区别于现有方法：由参数化且捕捉聚类结构中方向性非对称的expectile相异性；从聚类质量准则学习序数水平间距的数据驱动Azzalini评分变换；通过单一-惩罚稀疏优化与度量组件统一的名义变量共现相异性。模拟研究和两个实际数据应用得出以下主要发现：序数变量恢复方面，ExSC-在所有主要实验中序数TPR至少达0.90，而比较的稀疏竞争方法均未达到；估计的非对称参数偏离0.5并作为非对称性诊断与划分一同返回；聚类准确性的增益在分布异质性下最大；计算效率方面ExSC-比DBI-SC快约六倍且保持n的二次方复杂度；实际数据方面在钢铁退火数据集上取得最佳ARI（0.41对比DBI-SC的0.31）并对四个序数变量中的两个赋予非零权重，在信用审批数据集上保留15个变量中的14个。定理1在信号强度、维度增长和稀疏校准条件下建立了变量选择步骤的筛选一致性，但不提供划分本身恢复的保证。
