基于场景水平连续反应模型（CRM）的情境判断测验（SJT）嵌套评分项目建模与测量学评估

《Educational and Psychological Measurement》：Item Response Modeling of Situational Judgment Tests With Items Nested Within Scenarios

　　

情境判断测验（situational judgment tests, SJTs）广泛用于评估决策与问题解决技能。此类测验向受测者呈现情境（scenarios）及针对每个情境的可能行动，要求其依据有效性或适当性进行评定。尽管具有较高的表面效度和效标关联效度，但这些测验涉及复杂认知过程，其构念效度一直难以确立。当若干题目与同一情境相关时尤为困难，因为在控制总体能力后，题目反应会产生局部依赖（local dependencies）。为SJT寻找合适的测量模型将解决测验开发、维护、评分以及在多个测验形式/或测试年份间分数等值的操作挑战。研究人员提出使用连续反应模型（continuous response model, CRM; Samejima, 1973）的一种变体，在情境水平描述得分，而不论该情境下设置多少题目。一项模拟研究检验了该场景水平模型在由嵌套于情境中的分类题目生成数据上的表现，发现CRM在广泛的现实条件下拟合良好，并且比总和测验分数更接近真分数。研究人员以一项呈现临床困境及若干可能行动的SJT说明所提方法，每个行动采用四个有序类别评分。该SJT由N = 2,740名受测者在实际评估环境中完成。所提出的CRM变体对数据拟合良好，并在评估多维性、建模与评分反应以及评价测验信度方面有效。文中讨论了其在形式链接和预等值等其他实际操作中的启示。

研究背景方面，情境判断测验（situational judgment tests, SJTs；呈现情境及可能行动并要求评定有效性或适当性的测验）广泛用于心理评估、人员选拔和教育选拔，以评估决策与问题解决能力。其表面效度和效标关联效度较高，但构念效度难以确立，原因包括情境内容复杂、多面并导致多维性。经典测验理论（classical test theory, CTT）常被用于SJT评分与信效度评价，却将理论属性等同于单一测量分数，不适合处理维度与构念效度挑战。基本项目反应理论（item response theory, IRT）模型难以容纳SJT的多面内容，尤其当同一情境下有多个题目时会产生局部依赖（local dependencies；控制总体能力后同情境题目反应仍相关）。多维项目反应理论（multidimensional IRT, MIRT）虽可按内容设置多个能力维度和方法因子，但估计复杂、评分和内容管理困难，在大规模测验中不利于题目轮换、安全维护、多形式锚定和预等值。认知诊断模型（cognitive diagnosis models, CDMs）可用于诊断离散属性，但在大规模评测中对简单题库和测量模型的需求并无明显优势。因此，有必要寻找适合“题目嵌套于情境”的SJT且可操作的测量模型。

研究人员提出在情境水平使用有界连续数据的连续反应模型（continuous response model, CRM；Samejima, 1973），以情境总分为分析单位，建立单维测量模型，用于维度评估、信度评价、即时评分和预等值。研究包括模拟研究和实证示例。模拟研究操纵6个设计因素并全交叉形成64个条件，采用100次重复、每次N=1,000评估模型拟合，并采用每条件单一大样本N=100,000评估真分数恢复；实证分析使用N=2,740名2023年英语SJT申请者数据，该SJT含19个情境、109个题目、每情境4—7题，按专家键以0—4分“near-miss”规则评分，原始5点反应转化为4类评分。结论是CRM在广泛现实条件下拟合良好，能较好恢复真分数，并在实证数据中有效用于维度评估、反应建模与评分及信度评价；其意义在于为SJT提供简单、可实施、便于评分与等值的测量框架。

关键技术方法（不超过250字）：研究人员开展全交叉模拟研究，操纵潜在维度、情境数、每情境题数、情境水平依赖、反应类别数和题目难度6因素，共64条件；用100次N=1,000重复评价拟合，用每条件N=100,000巨样本评价真分数恢复；将嵌套分类题汇总为情境分数，经logit变换后拟合CRM，并以χ²/df、RMSEA、CFI、SRMR、ANOVA偏ω²、回归AIC和Spearman ρ评价。实证队列为2023年研究生医学培训申请者N=2,740（女性64.9%、男性33.3%、1.8%未披露），采用Mplus进行EFA/CFA，EstCRM估计CRM参数、个体θ及测量标准误。

研究结果如下。模拟条件下模型拟合（100次重复法）：基于64条件各100次N=1,000重复，CRM总体拟合优，χ²/df均值1.047—1.224，RMSEA 0.007—0.013，CFI 0.992—0.996，SRMR 0.019—0.022。拟合指数边际均值：按因素水平平均后，4D和较大题组（6题）拟合较差，但最差χ²/df仅1.59，RMSEA与SRMR未超0.02，CFI未低于0.98。因子方差分析与交互模式：全交叉ANOVA显示潜在维度、题组大小主要影响拟合，维度与题组大小、类别数与难度存在交互；类别数和题组内依赖对拟合影响很小。拟合总结：CRM拟合主要受潜在维度、题组大小及其交互驱动，但各条件边际均值良好且变化小，故当嵌套分类题测量共同内容时CRM可能被保留。

模拟条件下真分数恢复（单一大样本法）：每条件N=100,000评估显示，CRM在多数条件下高保真恢复真分数。估计误差：ME约-0.0007可忽略；RMSE范围0.245—0.743（中位0.547），潜在维度与题组数解释最大方差；条件偏差表现为低能力高估、高能力低估，最差条件为4D、较少题组、题组内依赖和过易题目。θ–θ^{^}关系形态：最佳条件（1D、无题组内依赖、20题组、每题组6题、4类别、中等难度）下θ–θ^{^}近线性，而总和分数与θ呈Logistic形，支持logit变换。排序保持：Spearman ρ范围0.714—0.974（中位0.850），1D、长测验、多类别、中等难度最佳；所有因素独立影响强。恢复影响总结：最佳条件为单维、较长测验、较多反应类别、中等难度；此时ρ>0.95（信度>0.90），极端无压缩；最不利条件下精度与总和分数同样差。

实证示例：N=2,740操作数据、19情境109题、专家键评分；用EFA、MIRT讨论、情境分数EFA、CRM拟合、个体参数和信度分析。将项目反应作为分析单位：专家评分和原始反应EFA均提示三个主要跨情境因子及约五个次要因子；三因子分别对应建议/仲裁、友好/顺从、对抗行为，交叉载荷和同情境残差相关突出。项目反应测量模型：有序分类项目可拟合多维广义部分评分模型（generalized partial credit model, GPCM）或分级反应模型（graded response model, GRM），但需3个实质维度加19个题组因子共22维，估计复杂，不适合简单评分等值。将场景分数作为分析单位：将每个情境专家评分题目加总形成19个情境分数，理论范围0—16至28，近似有界连续变量。场景分数EFA：线性EFA显示一主一次因子；单因子RMSEA=.058、CFI=.839、SRMR=.052；两因子拟合好（RMSEA=.033、CFI=.952、SRMR=.024），第二因子由三个“fellow residents”情境构成，作者认为次要且可不计。对评分场景拟合CRM：logit变换后CFA与EstCRM两种方法参数相同；CRM拟合RMSEA=.041、CFI=.879、SRMR=.035，优于未变换单因子线性模型。模型拟合与参数估计：原文报告19个情境的CRM参数，CRM按RMSEA和SRMR拟合良好但CFI不佳。CRM个体参数估计与信度：EstCRMperson估计θ；经典总分与θ相关r=.938但非线性；测量标准误（standard error of measurement, SEM）=.512，ρ(θ^{^})=.793；期望总分条件于θ呈测试特征曲线。

讨论部分总结：文章提出对嵌套评分项目SJT数据进行IRT建模，以情境总分为分析单位并拟合Samejima（1973）CRM。其优点是简单可及：数据准备仅需按情境加总专家评分；可用EstCRM或对logit变换分数拟合CFA；个体分、测量标准误和信度可用闭式公式计算，便于即时评分。实证显示项目水平多维复杂，情境水平单维CRM较合适。模拟显示CRM拟合广泛良好，真分数恢复在单维、较长测验、多类别和中等难度时最佳；不利条件下恢复较差但不差于总和分数。CRM关键优势在于通过log-odds变换在测验下限和上限处区分，补偿真分数与总和分数在极端处关系的非线性；对达到上下界的情境分数以0.01作校正（Shojima, 2003），Shojima（2005）另建议0.1，最优校正值待研究。实践上可用于题库校准、预测试、形式构建、评分及等值/链接，包括固定题参数校准和NEAT设计等。

研究结论（译）：本研究提出一种对嵌套于情境中的评分项目SJT数据进行IRT建模的方法；建议以情境加总分数为分析单位，并对其拟合Samejima（1973）的CRM。若情境加总分数具有足够分数范围（例如0—20），且所讨论的SJT旨在测量单一能力，则CRM在理论上适合这类本质连续但有界的数据。CRM相对于经典总和分数或线性因子模型的关键优势在于，通过观察情境分数的对数几率变换，能够在测验下限和上限处进行区分，从而补偿真分数与总和测验分数在极端处关系的非线性；当情境分数达到下界和上界时，分别通过加减一个小常数进行校正。