《Applied System Innovation》：A Survey-Aware Evaluation Protocol for Feature Selection in Educational Data Mining: Variable-Length Particle Swarm Optimisation Benchmarked on PISA 2018
编辑推荐：
教育数据挖掘（Educational Data Mining, EDM）经常报告在大规模评估数据上拟合的分类器和特征选择器，但未顾及这些调查的设计方式。本研究为这类数据指定了一项评估协议——通过代码强制执行的已发布预测变量允许列表、以学校为分组的嵌套交叉验证、
教育数据挖掘（Educational Data Mining, EDM）经常报告在大规模评估数据上拟合的分类器和特征选择器，但未顾及这些调查的设计方式。本研究为这类数据指定了一项评估协议——通过代码强制执行的已发布预测变量允许列表、以学校为分组的嵌套交叉验证、分别从十个合理值（plausible values）中导出结果类别并用Rubin规则（Rubin’s rules）合并，以及基于重复权重（replicate weights）的拟合预测规则的设计效应标准误——并将其用于在PISA 2018的西班牙样本（29,786名学生，1,087所学校）上，将变长粒子群优化（variable-length particle swarm optimisation, VLPSO）与十五种替代方法进行基准比较。数学熟练度带（mathematics proficiency bands）的区分曲线下面积（area under the curve, AUC）分别为0.8850（低对高）、0.7520（低对中）和0.6963（中对高）；标签置换零分布（label-permutation null）平均为0.4989，测量误差贡献了约一半的方差。在12,000次匹配的选择器拟合中，没有方法优于完整预测变量集。VLPSO保留了31个项目中的四至六项，代价是AUC损失0.0257–0.0368，与二元粒子群优化无差异，且稳定性低于大多数过滤器和嵌入式选择器。SHAP排名在每项任务的50个模型间一致，模型迁移到葡萄牙后没有损失。VLPSO以可衡量的代价压缩预测变量，但并未改善预测。
### 论文解读
#### 1. 研究背景与问题
教育数据挖掘（Educational Data Mining, EDM）利用统计学习描述、预测和解释学生结果。国际学生评估项目（Programme for International Student Assessment, PISA）等大规模评估提供了包含学业成绩与数百个问卷变量的代表性样本，成为EDM研究的重要数据源。然而，此类数据具有三个独特性质，使常规预测评估变脆弱：第一，学业成绩与问卷响应存储在同一文件中，若按存储类型保留所有数值列构建设计矩阵，结果变量会混入预测变量，使“预测”退化为查表；第二，学生按学校整群抽样，若按学生个体划分交叉验证折叠，同一学校的学生会同时出现在训练集和测试集，造成协议泄漏；第三，熟练度并非直接观测，PISA以十个合理值（plausible values）报告，并附带80个重复权重，若忽略这些测量与抽样特征，区间估计会过窄。以往特征选择与可解释性研究大多未尊重上述调查设计，导致报告的性能可能只是评估伪影，而非选择器本身的真实属性。
#### 2. 研究内容与意义
针对上述问题，研究人员提出了一套可重新执行的大规模评估数据监督学习评估协议，并将其用于基准测试变长粒子群优化（Variable-Length Particle Swarm Optimisation, VLPSO）。研究以PISA 2018西班牙样本（29,786名学生，1,087所学校）为分析对象，在统一协议下将VLPSO与十五种过滤式、包裹式、嵌入式选择器及多种消融变体进行比较。结论表明，VLPSO能以可衡量的AUC代价压缩预测变量，但并未改善预测；而协议本身揭示出测量误差贡献约一半方差、学校聚类贡献约三分之一区分度等关键事实。该协议为大规模评估数据的分类研究提供了可验证的基准框架，具有方法学上的独立价值。
#### 3. 关键技术方法
研究样本来自PISA 2018学生问卷文件，西班牙样本为主要分析集，葡萄牙样本（4,668名学生，272所学校）用于外部验证。协议核心包括：以代码强制执行的31个允许列表项目（衍生61个设计列）防止结果泄漏；以学校为分组单元的嵌套交叉验证（外层5折、内层5折）；十个合理值分别派生结果类别后经Rubin规则合并；基于Fay平衡重复复制（Balanced Repeated Replication, BRR）权重计算设计效应标准误。VLPSO实现采用对称不确定性排序、变长粒子表示、近邻分类器适应度与基数惩罚目标，并设置两种置换零分布分别检验拟合机制和学校效应。
#### 4. 研究结果
**5.1 泄漏诊断**
研究人员对分析框架内1,122列逐一分类，发现92列属于结果或结果派生列；若按存储类型构建设计矩阵，以平均数学分数为唯一输入的深度为一的决策树可100%复制所有任务标签。允许列表机制下，无任何项目单变量AUC超过0.95上限，证明该机制能有效阻断结果泄漏。
**5.2 预测性能**
在学校分组嵌套交叉验证下，低对高、低对中、中对高三个任务的AUC分别为0.8850（95% CI 0.874–0.896）、0.7520（0.743–0.761）和0.6963（0.679–0.714）。缺失信息比例（Fraction of Missing Information, FMI）介于47.0%–60.0%，表明约一半方差来自熟练度测量误差；重复间标准差仅为0.00059–0.00123，说明分区变动影响很小。若将跨折预测池化为单一排序，中对高估计可偏差多达0.0730，凸显按折加权估计的必要性。调查加权估计与未加权估计接近，BRR标准误（0.0069、0.0059、0.0115）略大于引导标准误。
**5.3 置换零分布**
非限制置换零分布（100次）平均为0.4989，标准差0.0068，无一次超过0.5125，表明拟合、调参与模型选择机制可贡献的乐观偏差上界约为0.0003 AUC。校内置换零分布（30次）平均为0.6188，说明保持学校构成仅打乱校内学生时，仍有31.1%的超机会区分度可归因于学校成员身份，而68.9%需要区分校内学生。
**5.4 特征选择器比较**
全部12,000次选择器拟合完成后，没有一种方法在Holm校正后显著优于完整允许列表。RFE、SFS与lasso路径在AUC上相差不超过0.0006，但保留17–22个项目，且该数量主要由30列上限决定。VLPSO平均仅保留4.4–6.1个项目，相对完整列表损失0.0257–0.0368 AUC，排名第12–15位；与设置完全匹配的二元粒子群优化（BPSO）相比无显著差异。消融分析显示，移除基数惩罚可恢复大部分损失，而长度自适应、随机初始化与排序方式无可测影响。Swarm方法稳定性最差（Nogueira等估计量0.09–0.50），但VLPSO在每项任务上均比BPSO更稳定。
**5.5 群搜索的稳定性、敏感性与收敛性**
在固定折叠下跨10个随机种子，VLPSO的子集平均稳定性为0.51，高于BPSO的0.32，但下游AUC的种子间标准差更大（0.0102对0.0066）。单因素敏感性分析显示，基数惩罚权重是唯一主导设置：将其从0改为0.3再改为0.6，平均子集大小从17.2降至6.8再降至4.4，AUC从0.8687降至0.8521再降至0.8419。搜索均在迭代预算内提前收敛，增加迭代次数或群体规模不改变结果，说明VLPSO的压缩代价由目标函数设定，而非搜索不充分。
**5.6 可复制解释**
150个解释模型成功复制了主分析中的模型族选择，其中131个精确复现外折AUC。全局SHAP排名在50个模型间高度一致（Kendall’s W在61个设计列上为0.604–0.809，在31个项目上为0.811–0.910）。所有任务中排名前两位的项目均为ST166Q03HA（网络钓鱼情境判断）和家中书籍数量（ST013Q01TA）。LIME重复30次后，每个学生平均有6.7个特征被全部种子命名，这些特征的权重变异系数中位数为0.065，符号一致性为1.000；未被半数以上种子命名的特征，其权重变异系数升至0.263，符号一致性降至0.871，说明LIME仅在领先项上可复制。
**5.7 外部验证**
将完整西班牙样本拟合的模型直接应用到葡萄牙样本，三个任务的AUC分别为0.9009（95% CI 0.883–0.919）、0.7678（0.748–0.787）和0.7139（0.679–0.749），均不低于西班牙交叉验证估计，且任务顺序保持不变；调查权重对结果影响不超过0.0024，证明模型可迁移至使用同一工具且教育体系相近的国家。
#### 5. 讨论与结论
讨论部分指出，协议三项发现具有普适性：按存储类型构建设计矩阵必然包含结果；测量误差贡献约一半估计方差；估计量选择（按折加权而非池化）对结论有实质影响。VLPSO表现不佳的原因在于目标函数用近邻准确率与基数惩罚折中，而信号分散在众多弱相关变量中，导致其收敛到过小的子集。解释归因是关联性陈述而非因果证据，不能据此推断干预效果。外部验证支持在可比系统间迁移，但不支持推广至一般教育系统。局限包括仅两个国家、单个周期、小规模候选集、单一下游学习器、有界调参网格以及解释仅计算于重复0等。
结论翻译：本研究指定了一个用于大规模评估数据分类的评估协议，并用它评估了变长粒子群优化在PISA 2018西班牙样本中选择数学熟练度问卷预测变量的效果。在学校分组嵌套交叉验证下，低对高的AUC为0.8850（95% CI 0.874–0.896），低对中为0.7520（0.743–0.761），中对高为0.6963（0.679–0.714）。非限制置换零分布平均为0.4989，测量误差贡献47.0%–60.0%的方差。在16个臂、三个任务、十个合理值、各25个外折的比较中，没有特征选择器改善完整允许列表；RFE、SFS与lasso路径在多数折叠中达到30列上限并匹配完整列表。VLPSO选择4–6个项目，损失0.0257–0.0368 AUC，与固定长度二元PSO无显著差异，长度自适应机制与排序无可测效应，代价由基数惩罚设定。VLPSO比BPSO更稳定，但比大多数过滤器和嵌入式方法更不稳定。全局SHAP排名在每任务50个模型间高度一致，LIME仅在领先项中可复制。西班牙模型迁移到葡萄牙无损失。协议、代码与汇总结果公开，下一步将在其他国家、周期和更大候选集上应用该协议，并在树集成学习器下比较选择器。
