EHCFE：融合特征工程的增强型层次聚类方法用于学生学业表现自动标注与辍学预测

《Electronics》：EHCFE: Enhanced Hierarchical Clustering with Feature Engineering for Automating Labeling of Student Performance and Dropout Prediction Nusaybah Alghanmi

　　

教育成就是社会发展的关键组成部分，然而日益上升的学生辍学率构成了持续挑战。尽管监督学习模型被广泛应用于辍学预测，但其依赖人工标注数据，该过程耗时且依赖专家注释。无监督学习模型，即聚类方法，已被探索作为替代方案；然而现有方法通常基于活动模式对学生进行分组，而无法生成诸如辍学或成功的二元结果标签。此外，其有效性往往高度依赖于所选特征的质量，且大多数现有解决方案仅利用有限或预先结构化的机构数据子集。本研究针对这些挑战，提出了EHCFE（Enhanced Hierarchical Clustering with Feature Engineering，融合特征工程的增强型层次聚类方法），用于从未标注Py教育数据集中自动生成二元标签。EHCFE通过特征工程，从特征选择过程中识别出的高排名特征生成新特征，同时保留原始特征集，从而提升标注结果的质量。该方法在三个数据集上进行评估，并与当前方法及先进模型使用多种评估指标进行比较，包括F1分数、受试者工作特征曲线下方面积（AUC）以及轮廓系数。实验结果表明，EHCFE在两个数据集上取得了最高的F1分数（0.709和0.28）和AUC值（0.766和0.81）。基于六项评估指标的排序分析显示，EHCFE优于现有模型，在两个数据集上分别获得1.50和1.83的最高平均排名，在第三个数据集上获得1.92的竞争性排名。

本研究旨在解决教育数据挖掘中学生学业表现标注与辍学预测面临的关键挑战。学业成功是个人未来发展与国家经济成长的重要基石，然而学生辍学问题持续困扰高等教育机构。辍学指学生未获得学位即离开教育机构，可从时间维度划分为早期辍学与晚期辍学，也可从微观视角（更换专业或机构）与宏观视角（完全退出教育体系）进行界定。尽管教育数据挖掘为分析学生行为提供了有价值的方法，但当前研究主要聚焦于监督学习模型，这类模型依赖历史上的人工标注数据，而标注过程往往耗时且成本高昂，同时需要领域专家参与。无监督学习模型虽受关注，但现有聚类方法多基于学生参与模式进行分组，未能直接产出辍学与成功的二元标签结果。此外，现有方法在特征选择上往往依赖专家判断，且多使用有限的机构数据子集，限制了模型的泛化能力。针对上述问题，研究人员提出了EHCFE方法，以实现对未标注教育数据集的自动二元标注，为识别高危学生提供结构化框架。

该研究采用三项数据集进行验证：联合入学考试数据集（JEE）、学术成功与辍学数据集（ASD）以及工程与教育科学数据集（EES）。JEE为合成数据集，包含15个属性，模拟学生在12年级后是否辍学的学业与行为特征；ASD数据集涵盖2008/2009至2018/2019学年不同专业（如护理与技术）的4424条记录，包含35个描述学生学业参与度、人口统计学及学术数据的数值属性；EES数据集于2019年从工程与教育学院采集，包含145条记录与33个特征，涉及个人、教育及家庭信息。三项数据集均包含真实标签用于评估，其中ASD与EES为真实数据集，JEE为合成数据集。

在技术方法层面，EHCFE包含三个核心阶段。第一阶段为特征选择，研究人员结合随机森林（Random Forest, RF）与方差分析两种方法识别最重要的t个特征（t取值范围为3至5）。方差通过衡量数据偏离均值的变异性来评估特征信息量，高方差表明特征具有较高的区分度。随机森林作为集成学习方法，通过多棵决策树的投票机制提升预测精度，采用准确度平均下降量与基尼指数（Gini Index）两个指标度量特征重要性。由于随机森林需要标注数据训练，研究人员采用K均值聚类（K-means）生成合成标签以解决无监督场景下的训练需求，并在聚类前应用Z分数标准化（Z-score normalization）以增强对异常值的鲁棒性。第二阶段为特征工程，研究人员从排名前t的重要特征中通过简单比率（simple ratio）方法衍生新特征，即选取排序靠前的重要特征两两相除生成比例特征，最多保留五个比率特征，并通过皮尔逊相关系数剔除相关系数超过0.95的高度相关特征，以避免特征冗余。第三阶段为层次聚类（Hierarchical Clustering, HC），研究人员采用Ward连接法（Ward linkage），该方法通过最小化簇内方差来度量簇间距离，在应用聚类前采用最小-最大归一化（Min–max normalization）将特征值调整至[0,1]范围，并采用欧几里得距离（Euclidean distance）计算数据点间的相似度。

研究结果部分涵盖模型评估与消融实验。在模型评估方面，研究人员将EHCFE与K-Means-All、PAM-All（Partitioning Around Medoids）、HC-Avg-All及HC-Avg-Subset（仅应用于ASD数据集）等方法进行全面对比。对于JEE数据集，EHCFE与K-Means-All在AUC和F1分数上均达到0.508和0.298，并列最优；EHCFE在DBI（2.572）、SC（0.130）和CHI（754.659）上排名第二，PAM-All获得最高ARI（0.02），K-Means-All则在DBI、SC和CHI上排名第一。对于ASD数据集，EHCFE取得ARI（0.333）、AUC（0.766）和F1分数（0.709）的最高值；HC-Avg-Subset获得最低DBI（1.258）和最高SC（0.401），但其标注性能极低（ARI为-0.001，AUC为0.499，F1分数为0.001）；PAM-All取得最高CHI（555.536）。对于EES数据集，EHCFE产生最高的AUC（0.81）、F1分数（0.28）和CHI（17.416）；HC-Avg-All则在ARI（0.201）、DBI（0.674）和SC（0.205）上表现最优，各在两个不同方法间形成三三分野。基于Friedman检验启发的平均排名分析显示，EHCFE在ASD和EES数据集上排名第一（平均排名分别为1.50和1.83），在JEE数据集上排名第二（1.92），K-Means-All在JEE数据集上排名第一。

通过均匀流形近似与投影（Uniform Manifold Approximation and Projection, UMAP）可视化分析显示，EHCFE在ASD数据集上的簇分布与原始标签分布高度相似；在JEE数据集上，EHCFE与K-Means-All均呈现出与原始数据集相近的两组结构；在EES数据集上，EHCFE与K-Means-All、PAM-All的分布较为接近，而HC-Avg-All则与原始数据集存在明显偏离。执行时间方面，EHCFE因包含特征选择与特征工程两个计算密集型阶段，平均耗时约4秒，显著高于K-Means-All和PAM-All的不足1秒，且执行时间同时受记录数量与特征数量影响。

消融实验部分包含两项分析。第一项针对特征选择中参数t的设定，研究人员比较了基于前5个重要特征的HC-ward-5F与基于前10个重要特征的HC-ward-10F。结果表明，在ASD数据集上，EHCFE在F1分数和AUC方面优于HC-ward-5F和HC-ward-10F；但在聚类质量方面，HC-ward-5F表现最优，HC-ward-10F随特征数量增加性能显著下降，说明特征子集的选取需谨慎。第二项针对特征工程步骤的贡献，研究人员比较了EHCFE与使用全部特征但不进行特征衍生的HC-ward-All。ASD数据集结果显示，衍生特征可改善除AUC外的所有指标；EES数据集上，EHCFE在ARI、F1和AUC上表现更优，但HC-ward-All在DBI上更优，表明特征衍生并非独立于全部特征作用，特征数量对标注结果具有影响。

讨论部分指出，EHCFE在F1分数和AUC等标签相关指标上表现最优，这直接反映了生成标签与真实辍学及成功结果的一致性。尽管EHCFE在DBI、SC和CHI等内部验证指标上不总是最佳，但其在所有数据集上均保持竞争性表现。相比之下，PAM-All和K-Means-All在多项指标上表现出不稳定性，如PAM-All在EES和JEE数据集的SC和DBI上表现薄弱，K-Means-All在ASD和EES数据集的ARI、AUC和F1分数上表现不佳。HC-Avg方法同样呈现明显的不稳定性，在多个 ground truth 相关指标上排名第四，聚类分配接近随机。EHCFE采用Ward连接法替代平均连接法，产生了更为稳定的结果，通常在评估指标中排名第一或第二。

研究结论部分指出，预测学生学业表现与辍学对于教育管理者至关重要，可节省资金并改善教育成果。本研究通过EHCFE方法增强聚类技术，在不依赖特征选择或标注数据集的情况下实现了学生自动标注。EHCFE与其他模型相比，在预测度量与聚类质量评估指标上均获得较高排名，取得了与真实标签对齐与产生良好定义簇之间的最佳平衡。研究表明，仅使用特征子集可能无助于改善标注与预测结果，同时证实了特征工程相较于仅使用全部特征训练模型的重要性。EHCFE为教育管理者提供了系统性方法，可在学生教育旅程早期识别其持续学业状态及潜在学术状态，从而促进及时干预以解决可能导致学业表现不佳或辍学风险的因素。未来研究方向包括：将EHCFE方法扩展至大规模高维教育数据集，评估其在多样化学术情境与群体中的有效性；考察自动辍学标注的伦理影响，特别是针对非传统学习模式学生可能产生的偏见结果；以及探索其他特征工程方法，如交互项和对数比率等。