《British Journal of Mathematical and Statistical Psychology》:On the asymmetry, complexity and predicted data patterns of nontraditional item response theory models
编辑推荐:
传统的项目反应理论(IRT)模型涉及对称的响应概率函数,但一个发展中的研究领域已关注非对称替代模型。迄今为止,这些研究主要集中于引入新的非对称模型,详细阐述其数学公式,解释如何解读其项目参数,并通过模拟和实证数据分析展示其独特的心理测量学特性。研究人员为这一蓬
传统的项目反应理论(IRT)模型涉及对称的响应概率函数,但一个发展中的研究领域已关注非对称替代模型。迄今为止,这些研究主要集中于引入新的非对称模型,详细阐述其数学公式,解释如何解读其项目参数,并通过模拟和实证数据分析展示其独特的心理测量学特性。研究人员为这一蓬勃发展的研究领域增添了内容,通过探索非对称IRT背景下的模型评估。研究人员首先介绍了一种基于Aranda-Ordaz(Biometrika, 68, 1981, 357)连接函数的新非对称IRT模型,并将其与两个以不同方式参数化非对称性的已有模型进行比较。这些模型之间的比较随后使研究人员能够展示三种非传统的IRT模型评估方法:(1)表征响应概率和伪信息函数中的非对称性,(2)通过拟合倾向分析量化构型复杂性,以及(3)探索每个模型的模式特征。通过这种深入的评估,研究人员发现所有三个模型都具有微妙独特的心理测量学特性,这将有益于应用研究。更广泛地说,本研究中考虑的模型评估方法可以为任何IRT模型提供独特的见解。
论文解读文章
**研究背景与问题**
传统项目反应理论(IRT)模型(如Rasch模型和双参数逻辑模型)采用对称的响应概率函数,但近年来的研究关注非对称模型,以捕捉项目对认知需求的不同影响或作为参数复杂的3PLM和4PLM的简约替代。尽管非对称IRT模型研究增多,但现有工作主要集中于提出新模型并与对称基线比较,而不同非对称模型之间的内在差异(如LPE、RH和AO模型通过不同数学机制实现非对称性)尚未被直接检验。这种差异可能导致模型在数据模式偏好上存在本质区别,因此需要超越全局拟合度的综合评估方法。
**研究内容与意义**
研究人员引入了三种互补的评估方法:(1)通过响应概率非对称性指数(ф)和伪信息非对称性指数(ψ)表征非对称性的方向和大小;(2)采用拟合倾向(FP)框架评估模型的构型复杂性;(3)通过模式签名分析揭示各模型倾向于预测的响应模式。通过比较逻辑正指数(LPE)模型、残差异方差(RH)模型和基于Aranda-Ordaz(AO)连接函数的新模型,研究人员发现三个模型具有独特的心理测量学特性,且模型评估方法能为任何IRT模型提供新见解。该论文发表在《British Journal of Mathematical and Statistical Psychology》。
**主要关键技术方法**
- 使用响应概率非对称性指数(ф)和伪信息非对称性指数(ψ)量化非对称性,基于中心函数对称性原理。
- 采用拟合倾向(FP)框架,通过从单位单纯形均匀采样生成5000个五项目二分类数据集,计算Y2/N统计量评估模型拟合度,并绘制经验累积分布函数(ECDF)和欧拉图。
- 通过模式签名分析,比较AO和LPE模型获胜数据集中的响应模式平均采样概率,识别其偏好模式。
**研究结果**
**3.4 结果:表征非对称性**
- 响应概率非对称性(ф)分析表明:LPE模型呈现方向依赖的宽域衰减(κ>0时宽松,κ<0时严格,最大幅度在θ≈0附近);RH模型表现为阈值附近局部扰动(ф在θ=0附近狭窄波峰/波谷,因IRF绕固定点旋转);AO模型呈现方向依赖的持久性(κ>0时严格持久,κ<0时宽松快速衰减,因灵活性集中于上尾)。
- 伪信息非对称性(ψ)提供非冗余诊断:LPE模型中ψ呈驼峰状且随κ变号,反映拐点偏移;RH模型中ψ局部化但结构复杂,体现异方差缩放;AO模型中ψ相对较小且平滑,与固定拐点一致。
**4.3 结果:评估复杂性**
- 拟合倾向(FP)分析显示:在5000个数据集上,2PL、LPE和AO模型的平均Y2/N值接近(0.025、0.026、0.026),而RH模型较大(0.032)。ECDF和欧拉图表明RH模型FP较低,而2PL、LPE、AO模型重叠区域大(52.93%共同拟合),RH模型独有区域(3.19%)较大。LPE和AO模型FP几乎相同,但模式签名分析揭示差异:LPE获胜数据集偏好低分和极端分数(如总和分数0、1、4、5),AO获胜数据集偏好高分(如总和分数4)但非全对模式(11111)。这反映LPE下尾灵活性和AO上尾灵活性。
**讨论与结论**
讨论部分指出,非对称IRT模型并非可互换的对称基线扩展,各模型编码不同的响应过程假设:LPE集中灵活性于下尾,AO集中于上尾,RH集中于阈值附近。数学差异并不直接映射到整体复杂性上,2PL、LPE和AO的FP相当,而RH更简约。模式签名分析表明,FP相似的模型仍有不同的响应过程含义。研究人员强调,IRT模型选择应基于综合评估,包括IRF编码的独特响应行为和构型复杂性(体现在FP和模式签名中)。研究结论翻译如下:
“总之,IRT模型评估不仅限于全局、项目和人员拟合:参数数量相同的模型可能在FP上不同,甚至FP相当的模型也可能暗示不同的潜在响应过程并偏好不同的数据模式。重要的是,虽然本研究聚焦于非对称IRT模型,但任何IRT模型的FP和模式签名均可被评估。总体而言,我们的发现支持IRT模型(包括对称和非对称变体)的选择应基于对被编码在IRF中的独特实质性响应行为以及固有复杂性(在FP和模式签名中均明显可见)的综合评估,这种复杂性为任何对样本数据的观测拟合度提供了背景。”