教育预测数据集的建模前可靠性审计：基于分组感知泛化的质量评估框架

《Scientific Reports》：Limited structural reliability in public educational prediction benchmarks: a four-dimension audit of seven datasets

　　

摘要

在七个公开的教育预测数据集中，三个通过了全部四项建模前可靠性检查；其余四个要么未通过分组感知泛化测试，要么缺乏运行这些测试所需的数据溯源元数据。其中一个数据集最初被判定为不合格，但在从留出矩阵中排除组标识特征后得到修正，这表明该审计能够区分真实的跨组混杂与特征编码伪影。每个数据集均在模型优化之前接受审计，采用四项检查：基线差距、划分不稳定性、空值分离度，以及基于分组感知留出的元数据充分性。主要的失效模式并非单纯的独立同分布性能不佳，而是跨组脆弱性：在最典型的案例中，UCI 学生数据集从独立同分布的 \(R^2 = 0.242\) 下降到分组留出的 \(R^2 = -0.097\)，而 Higher Ed 数据集则从 0.041 骤降至 \(-8.79\)。增加模型复杂度并未消除这一模式：集成模型在结构健全的数据集上表现改善，但在脆弱数据集上放大了不稳定性或在分组留出条件下失败。一项探索性的跨数据集比较进一步表明，更强的性能画像集中在规模更大、分组更丰富、与真实表现更接近的数据集中，而在脆弱数据集中，随机划分性能严重高估了可部署的信号。分类指标敏感性分析也得出了相同的实质性结论。研究结果表明，教育人工智能中的基准可靠性更多受到数据结构、组间异质性和评估设计的制约，而非算法选择。一套可复用的建模前审计流程可作为公共教育数据集支持强基准或部署主张之前的最低质量门槛。