改进多项选择题中知识的测量：一种层次化多项处理树方法

《Acta Psychologica》：Improving the measurement of knowledge in multiple-choice tests: A hierarchical multinomial processing tree approach

　　

研究人员提出一种层次化多项处理树（MPT）模型以改进多项选择（MC）测试中的能力测量。该模型将知识从猜测和反应选项偏好中分离出来。该模型考虑了测试者和测试项目之间的异质性。与传统方法相比，该模型显示出更高的收敛效度。这表明认知过程建模可以改进心理测量。

在心理测量中，多项选择题（MC）测试常用于评估知识或能力，但正确回答可能源于猜测而非真实知识，引入测量误差和偏差。传统评分方法（如数正确得分、公式得分）无法有效分离这些成分，而项目反应理论（IRT）模型（如三参数逻辑斯蒂（3PL）模型）虽引入猜测参数，但未能同时考虑个体差异和项目异质性。添加“不知道”选项可减少猜测，但评分仍受反应策略影响。为此，研究人员提出了层次化多项处理树（MPT）模型，旨在同时分离知识、猜测倾向和反应选项偏好，以改进知识测量。该研究发表于《Acta Psychologica》。

研究人员基于371名被试（来自德国测试公司在线职业咨询平台，排除未通过注意力检查者，年龄16-62岁，56.1%女性）的143个真/假知识题（含“不知道”选项）数据，拟合了层次化MPT模型。模型包含三个潜变量：客观知识（K）、猜测倾向（G，即猜测而非选择“不知道”）和猜测时偏好“真”选项（T）。模型采用贝叶斯马尔可夫链蒙特卡洛（MCMC）估计，通过probit链接函数将树参数建模为人和项目随机效应的函数。主要关键技术方法包括：层次化多项处理树（MPT）建模、贝叶斯MCMC估计（JAGS软件）、弱信息先验设置、后验预测模型检验（PPMC）以及基于信息准则（DIC、WAIC、LOOIC）的模型比较。样本来源于德国测试公司在线职业咨询平台，最终样本N=371。

**模型选择与模型拟合**：通过比较全模型与多个约束模型（如约束G或T项目效应、约束人效应等），全模型（包含所有人和项目随机效应）具有最低的DIC、WAIC和LOOIC，表明其最佳拟合与简约性平衡。后验预测p值（PPP）显示，全模型的T1-PPP为0.494，T2-PPP（人层面0.165，项目层面0.296），表明模型良好恢复了观察数据均值和协方差结构，而所有约束模型均拟合不佳。

**参数估计**：估计了潜变量方差和相关性。知识（K）方差最大（0.73），猜测倾向（G）方差0.32，选项偏好（T）方差0.13。K与T呈显著负相关（r=?0.21，95%可信区间[?0.35, ?0.08]），表明较低知识水平者更倾向于猜测“真”。K与G相关不显著，G与T相关接近0。项目参数方面，所有项目效应方差均显著大于0，表明项目在知识难度、触发猜测倾向和触发“真”选项倾向方面存在异质性。

**参数验证**：将K参数与外部协变量（智力测试子测验和学业成绩）相关，并与传统评分方法（数正确得分、平均得分、公式得分、Rasch模型、2PL、3PL、4PL、非层次MPT模型）比较。结果显示，本研究模型的知识得分与词汇技能（结晶智力）的相关性最高（r=0.78），显著高于所有其他方法（如公式得分?1罚分r=0.73，非层次MPT r=0.72）。对数理能力和大学GPA，本研究模型相关性也最高或接近最高。G和T参数与人格特质相关：G与诚实-谦逊（r=?0.17）、风险规避（r=?0.11）负相关，与成就动机（r=0.16）正相关；T与所有人格特质无显著相关，符合预期。

讨论部分强调，本研究模型作为认知心理测量学实例，能有效分离知识测量与构念无关方差，提高收敛效度。与相关MPT模型和项目反应树（IRTree）模型相比，本模型独特之处在于同时建模知识、猜测倾向和选项偏好，并包含人和项目交叉随机效应。对测量实践的建议包括：在高风险情境中可接受计算成本，但需注意沟通评分规则；非层次MPT模型或公式得分（?1罚分）可作为折中方案。局限性包括：参数G和T的心理意义需进一步验证；模型假设知识状态下不会出现错误或“不知道”反应，但实际可能发生；模型适用于真/假题，对多选项题需调整。未来方向可考虑扩展至部分知识、人-项目交互等。

**结论**：本文提出的层次化MPT模型为在多选题测试中将潜能力测量与构念无关方差分离提供了一种有吸引力的方法。实证结果表明，该模型确实可以改进潜能力测量，使其成为传统评分方法的可行替代方案。未来研究可以进一步探索层次化MPT方法在心理测量问题中的潜力。