精炼项目功能差异的效应量度量与分类：迈向跨方法的统一指南

《British Journal of Mathematical and Statistical Psychology》：Refining effect size measures and classification for differential item functioning: Toward unified guidelines across methods

　　

项目功能差异（Differential Item Functioning, DIF）分析用于识别多项目测量中潜在偏倚的项目。除了检验统计显著性，还需通过效应量度量（effect size measures）评估DIF的实际显著性。研究人员回顾了现有的DIF效应量度量及用于Mantel-Haenszel（MH）检验、SIBTEST和二分项目逻辑回归（logistic regression）的效应量大小分类界值（cut-off values），并引入了基于面积（area-based）的效应量度量的改进。开展了一项模拟研究（simulation study）以探究这些效应量度量及现有分类指南的性质，并评估其比较性能。结果表明，一些常用效应量度量表现出不良性质，包括不一致的分类、系统低估潜在DIF的大小以及强依赖于设计因素。为解决这些问题，研究人员引入了某些效应量度量的使用限制、跨方法统一结果的修订界值，并提出了基于面积的效应量度量的新界值。通过两个真实数据示例展示了这些方法，并在R软件中提供了实现。

**论文解读：精炼项目功能差异的效应量度量与分类：迈向跨方法的统一指南**

**研究背景与问题**

在多项目测量工具（如问卷或知识测试）的验证中，项目功能差异（Differential Item Functioning, DIF）分析是关键步骤，用于识别可能对特定群体存在偏倚的项目。DIF的存在意味着，在潜在特质（如能力或态度）水平相同的情况下，不同群体（如性别、年龄）的个体对某个项目作出特定反应（如正确回答）的概率不同。除统计显著性检验外，评估DIF的实际重要性（即效应量大小）至关重要，因为统计检验的功效受样本量影响。历史上，针对Mantel-Haenszel（MH）检验、SIBTEST和逻辑回归（logistic regression）等方法，已提出多种效应量度量及相应的分类界值（如“可忽略”、“中等”、“大”）。然而，这些界值多源于小规模模拟研究，或未经系统验证，导致不同方法间的分类结果不一致，难以统一解释。此外，一些常用效应量度量存在系统性低估DIF、对设计因素（如样本量、能力分布）敏感等问题。因此，本研究旨在通过大规模模拟研究，重新审视并修订DIF效应量度量的分类指南，建立跨方法的统一框架，提高一致性和可解释性。论文发表在《British Journal of Mathematical and Statistical Psychology》。

**研究内容与主要技术方法**

研究人员开展了大规模模拟研究，数据生成基于二参数逻辑斯蒂克（2PL）项目反应理论（Item Response Theory, IRT）模型，操作六个设计因素：样本量（100-10,000）、测试长度（20或40题）、DIF项目比例（5%或10%）、焦点组能力分布（标准正态、均值-0.5或0.5的正态分布）、潜在DIF大小（基于面积度量的0.2-1.2）和DIF类型（均匀或非均匀）。共1008种条件，每种条件重复1000次。统计分析方法包括：对均匀DIF进行MH检验、SIBTEST和逻辑回归似然比检验，并计算相应的效应量度量（如MH的Δ_MH、SIBTEST的β_uni、逻辑回归的Δ_R2、|LR-P-DIF|、|LR-STD-P-DIF|、面积度量SA/UA及其标准化版本等）；对非均匀DIF采用交叉SIBTEST和逻辑回归。通过线性回归模型将不同效应量度量与潜在面积度量（UA）建立关联，以推导统一界值。真实数据示例来自两个数据集：HBSC（健康行为学龄儿童研究，2022年，180,553名青少年，比较11岁与15岁）和MSATB（捷克医学院生物入学测试，1407名学生，比较性别）。所有分析在R软件中实现。

**研究结果**

**4.2.1 均匀DIF的现有分类**
模拟研究显示，对于潜在UA为0.2的DIF项目，大多数效应量度量（如Δ_MH、β_uni）被正确分类为可忽略或非显著，但LR-P-DIF和LR-STD-P-DIF在较大样本量下出现大量中等分类错误。对于UA=0.4，Δ_MH和β_uni在样本量≥500时主要分类为可忽略至中等，而SIBTEST的β_uni和LR-STD-P-DIF更频繁分类为中等至大。对于UA≥0.6，除Δ_R2外，所有度量在样本量≥500时主要分类为中等或大，而Δ_R2始终低估DIF，分类为可忽略。对于非DIF项目，效应量度量有助于减少假阳性，但假阳性率随样本量和同数据集内DIF项目UA增大而轻微增加。

**4.2.2 非均匀DIF的现有分类**
对于潜在UA在0.2-0.6之间，SIBTEST的β_uni和逻辑回归的Δ_R2主要分类为非显著或可忽略。对于UA=0.8，SIBTEST的β_uni在较小样本量下非显著，但随着样本量增大，大量项目被分类为大DIF；而Δ_R2主要分类为可忽略或非显著。对于非DIF项目，交叉SIBTEST在较大样本量下轻微超出名义水平，但假阳性项目主要分类为可忽略；逻辑回归仅在极大样本量和高UA下出现假阳性，且分类为可忽略。

**4.3 新提出的分类界值**
基于模拟结果，研究人员保留了MH的Δ_MH的界值1和1.5（可忽略/中等/大）。对于SIBTEST的β_uni，因小样本（N≤200）变异性大，建议仅用于N>500，并提出新界值0.085（可忽略/中等）和0.122（中等/大）。对于逻辑回归的Δ_R2，提出新界值0.01和0.021。对于|LR-STD-P-DIF|（总权重、参考权重、Cochran权重），建议界值0.085和0.116；均匀权重界值0.075和0.104。对于面积度量SA、UA、CUA，提出统一界值0.426和0.638。标准化面积度量sSA和sUA与Δ_MH直接关联，采用相同界值0.426和0.638。加权面积度量WUA（基于标准正态密度）的界值0.085和0.117。对于非均匀DIF，UA和CUA界值同样为0.426和0.638；SIBTEST的β_cross在N>500时建议界值0.066和0.112；逻辑回归的Δ_R2界值0.002和0.008。新界值显著提高了分类一致性，如Δ_R2的正确分类率从27.41%提升至63.12%。

**总结讨论与结论**

本研究通过大规模模拟，系统评估了常用DIF效应量度量的性能，揭示了其局限性，并提出了修订后的统一分类界值和使用限制。面积度量（UA、SA等）表现出对设计因素的最佳稳健性，且标准化版本可有效连接基于比值比的度量。真实数据示例（HBSC和MSATB）验证了新界值在减少跨方法分类不一致方面的实用性。研究结论翻译如下：尽管存在范围限制，本研究通过连接和更新二分项目传统DIF检测方法的分类指南，推进了标准化解释DIF效应量的努力。通过全面模拟，研究人员系统评估了若干常用效应量度量的性能与局限，提出了修订界值以增强一致性和实际可解释性，并制定了应用于实践的建议。研究结果凸显了基于面积的效应量作为DIF实用指标的稳健性。通过解决方法论不一致并提供统一框架，本工作为心理和教育评估中更透明、可靠和可解释的DIF分析奠定了基础。