《Journal of Educational and Behavioral Statistics》:Exploring Differential Item Functioning through Machine Learning: A Review of Rasch Trees and Regularized Moderated Rasch Models
编辑推荐:
检测和解释项目功能差异(differential item functioning, DIF)对于确保测量工具的公平性和有效性至关重要。心理测量模型与数据驱动机器学习(machine learning, ML)方法的结合已被引入,以促进在不同协变量集合中开展全
检测和解释项目功能差异(differential item functioning, DIF)对于确保测量工具的公平性和有效性至关重要。心理测量模型与数据驱动机器学习(machine learning, ML)方法的结合已被引入,以促进在不同协变量集合中开展全面的DIF分析。研究人员综述了两种用于检测均匀DIF效应(即项目难度参数的变化)的ML方法。Rasch树通过非参数决策树探索DIF效应,并将数据集划分为子组。正则化调节Rasch模型指定了用于预测DIF效应的参数模型。一项模拟研究表明,优化策略和函数形式假设可能导致不同的结论。最后,研究人员使用来自国家教育面板研究(National Educational Panel Study, NEPS)的数据(N = 5,193)实际演示了这些方法的实施,并提供了有文档的分析代码。
项目功能差异(differential item functioning, DIF)是心理测量学中确保测量工具公平性和有效性的核心问题。当项目属性(如难度)因协变量(如性别、年龄)或测评条件(如测试模式、测量波次)而呈现系统性差异时,即出现DIF。传统DIF检测方法,如多组Rasch模型,受限于预设分组、协变量数量有限以及连续变量需分类等问题,难以应对教育大规模评估(large-scale assessment, LSA)中日益复杂的数据结构。为突破这些局限,心理测量模型与数据驱动机器学习(machine learning, ML)方法的结合应运而生。研究人员在《Journal of Educational and Behavioral Statistics》发表论文,系统综述了两种用于检测均匀DIF效应的ML方法:Rasch树(Rasch tree)与正则化调节Rasch模型(regularized moderated Rasch model)。这两种方法均可从大量分类和连续协变量中识别预测DIF的变量,并同时标记表现出DIF的项目,但其模型规范与基本假设不同,导致结论可能相异。研究通过模拟研究阐明优化策略和函数形式假设对检测结果的影响,并利用NEPS数据(N = 5,193)进行实证演示,提供了可复现的分析代码。
**技术与方法概述**
研究人员采用了两种核心方法。Rasch树基于模型递归划分(model-based recursive partitioning),利用结构变化检验评估项目参数在每个协变量上的稳定性,结合Bonferroni校正、最小节点大小及Mantel-Haenszel(MH)效应量分类(“A”“B”“C”三级)进行DIF检测和纯化。正则化调节Rasch模型通过带惩罚的边际极大似然估计,使用(自适应)lasso惩罚将大部分DIF参数收缩至零,并依据贝叶斯信息准则(Bayesian Information Criterion, BIC)选择最优调参λ。模拟数据基于Rasch模型生成,样本量N = 2,000,测试长度20项;实证样本来自NEPS Starting Cohort 3中的五年级数学测试(23个二分项目,N = 5,193),协变量包括阅读素养、性别、学校类型等10个变量。
**模拟研究(Simulation Study)**
数据生成(Data Generation)部分设置了六种均匀DIF模式,涵盖线性与非线性效应、平衡与不平衡DIF,以及协变量对潜在能力的影响。DIF分析(DIF Analysis)中,应用两种方法的不同设定进行比较。模拟结果(Simulation Results)表明:在线性DIF条件下,两种方法均能准确识别真实DIF项目,并排除无DIF项目;但Rasch树在较大样本中应采用更严格的“C”级MH效应量标准,以避免虚检。对正则化调节Rasch模型,若函数形式被误设(如忽略交互项),DIF效应可能被错误归因;自适应lasso(adaptive lasso)能较好控制虚检,同时保持较高检测力。在非线性DIF场景中,Rasch树无需预先指定函数形式即可检测所有DIF效应(检出率>97%),而正则化调节Rasch模型只有显式包含相应非线性项才能识别;正确设定模型时,自适应lasso能有效控制无DIF项目的虚检率。
**实证示例(Empirical Example for DIF Analysis)**
分析数据集(Analyzed Dataset)使用NEPS数学测试数据,项目缺失值基于Rasch模型进行插补,协变量缺失值采用顺序分类回归树进行单一插补。统计分析(Statistical Analyses)中,Rasch树以Bonferroni校正的稳定性检验、最小节点规模200及“B”级MH效应量作为停止准则;正则化调节Rasch模型采用自适应lasso和BIC自动选择调参。DIF结果(DIF Results)显示,两种方法均识别出阅读素养、学校类型和性别为最相关的DIF预测变量;但标记的DIF项目仅部分重叠:Rasch树识别出8个项目(最大效应为“C”级),正则化调节Rasch模型识别出16个项目有非零DIF效应(效应大小|0.012|至|0.541|)。敏感性分析(Sensitivity Analysis)表明,改变Rasch树最小节点大小(150或300人)或正则化模型的函数形式(如加入交互项)对结果有影响,但核心DIF预测变量保持稳定。特质估计比较(Comparison of Trait Estimates)显示,基于Rasch树和手动控制影响效应后的DIF校正期望后验(expected a posteriori, EAP)特质估计与初始Rasch模型估计高度相关(秩相关分别为0.98和0.99),但正则化模型默认的残差化特质设定差异较大(秩相关0.65)。
**讨论**
讨论部分指出,两种方法在假设满足时均能有效检测DIF;但在实证应用中,函数形式假设通常不明确,导致结果差异。阅读素养是影响DIF的最强预测变量,这可能与NEPS数学测试中的文本型项目有关。Rasch树可自动捕捉交互效应但难以明确提取,正则化调节Rasch模型则需显式指定交互项。两种方法并非孰优孰劣,结合使用可提供互补的DIF视角。局限性包括未考虑混合模型等其他策略,以及缺失数据处理方法仍需改进。未来研究可探索模型平均以及更复杂测试情境中的不确定性。
**结论**
研究人员综述了两种用于DIF检测的创新ML方法——Rasch树和正则化调节Rasch模型。这两种方法对于识别相关的DIF预测变量和DIF项目都具有价值,为DIF模式提供了互补的见解。特别是在构建良好的成就测验和大样本情境中,这些方法为更公平、更准确的心理测量评估提供了宝贵信息。未来研究应探索在本文所考虑及更复杂的测验设置中使用不同建模策略所带来的不确定性。