《Educational and Psychological Measurement》：A Comparison of Item Selection Methods and Parameter Estimation Approaches for Online Calibration in Computerized Adaptive Testing
编辑推荐：
在线校准能够通过将新预测项目嵌入正式测试环节，实现对计算机化自适应测试（CAT）题库的持续补充。然而，不同校准组件及其交互作用的相对性能尚未在统一框架下得到充分检验。本研究通过蒙特卡洛模拟（包含108种条件和每种条件100次重复），在单参数逻辑斯蒂克（1-PL
在线校准能够通过将新预测项目嵌入正式测试环节，实现对计算机化自适应测试（CAT）题库的持续补充。然而，不同校准组件及其交互作用的相对性能尚未在统一框架下得到充分检验。本研究通过蒙特卡洛模拟（包含108种条件和每种条件100次重复），在单参数逻辑斯蒂克（1-PL）和双参数逻辑斯蒂克（2-PL）项目反应理论模型下，比较了三种预测项目选择方法（最大Fisher信息法[MFI]、D-最优值设计、贝叶斯D-最优设计）、两种参数估计方法（固定能力联合极大似然程序[JML-itpar]和单期望最大化循环[OEM]）、三个随机校准阶段样本量水平（250、500和1000）以及三个每预测项目校准样本量水平（250、500和1000）。结果显示各项目选择方法间存在权衡：MFI产生最准确的难度参数估计，而D-最优值设计和贝叶斯D-最优设计在区分度参数恢复方面表现更优。贝叶斯D-最优设计在准确性和校准效率之间提供了最佳平衡。JML-itpar首次在标准在线校准背景下被系统评估，并被发现是一种可行的估计方法。在校准样本量为500和1000时，JML-itpar与MFI组合产生的区分度参数均方根误差低于OEM。OEM在难度参数方面仍然保持优势。每预测项目校准样本量是最具影响力的因素，从250到500个响应可获得显著的精度提升，超过500后收益递减。随机校准阶段样本量的影响可忽略不计。这些发现为实际CAT项目中选择校准组件提供了实践指导。
**基于《Educational and Psychological Measurement》论文的解读文章**
**一、研究背景与问题**
项目反应理论（IRT）与计算机技术的融合推动了教育与心理测评从传统的固定线性测试格式向自适应模式的转变。计算机化自适应测试（CAT）作为这一转变的典型应用，根据被试的能力估计值动态选择和施测最合适的项目，从而在更短的测验长度内实现更高精度的能力估计，并能维持被试动机、提供及时反馈以及灵活的测试安排。然而，CAT面临着一个固有挑战：题库质量的维护。由于系统持续向不同被试施测不同项目，库中部分项目会逐渐过度曝光或过时，导致题库质量下降，因此需要定期淘汰旧项目并补充新项目，即项目补给。
项目补给的核心环节是新开发项目的校准。传统的离线校准方法依赖锚定项目设计，采用纸笔形式进行，成本高昂、耗时，且存在被试动机低、数据可靠性差以及需要额外链接程序等缺陷。在线校准方法则通过将新项目（预测项目）嵌入到正式CAT施测过程中，能够在不干扰测验进程的情况下收集反应数据，同时估计被试能力与项目参数，省去了复杂的等值与链接过程，兼具成本效益与时间效率，已成为CAT题库维护的主流选择。在线校准包含两个基本组成部分：预测项目选择方法和参数估计方法。此外，样本量等设计要素也影响参数恢复的精度。尽管已有研究对在线校准的各个组件进行探索，但鲜有研究在统一框架下同时考察多个核心组件及其交互作用，特别是对联合极大似然（JML）估计在标准在线校准情境中的适用性关注不足。为此，本研究旨在系统比较三种项目选择方法、两种参数估计方法以及不同样本量水平在1-PL和2-PL模型下的表现，为实际CAT项目中的校准组件选择提供实证依据。
**二、研究设计与技术方法**
研究人员采用蒙特卡洛模拟方法，构建了完全交叉的因子设计，包含108种独特条件（2个IRT模型×3种项目选择方法×2种参数估计方法×3个随机校准阶段样本量×3个每项目校准样本量），每种条件下进行100次重复模拟，以降低随机抽样变异的影响。模拟中，每次重复生成包含250个项目的操作题库和包含25个项目的预测题库。在2-PL模型下，区分度参数从对数正态分布中抽取，难度参数从标准正态分布中抽取；在1-PL模型下，区分度固定为1。被试能力从标准正态分布中独立抽样。每位模拟被试完成由35个项目组成的固定长度操作CAT。在线校准流程分为随机校准阶段和自适应校准阶段，预测项目固定在施测结束后嵌入。研究评估了三种项目选择方法（最大Fisher信息法[MFI]、D-最优值设计、贝叶斯D-最优设计），两种参数估计方法（固定能力联合极大似然程序[JML-itpar]和单期望最大化循环[OEM]），以及三个随机校准阶段样本量（250、500、1000）和三个每预测项目校准样本量（250、500、1000）。参数估计精度通过偏差和均方根误差（RMSE）衡量，校准效率通过完成全部25个预测项目校准所需的累计样本量评估。
**三、主要研究结果**
**偏差分析：** 在全部模拟条件下，难度参数的偏差值在两种IRT模型和两种估计方法下均接近于零，表明系统误差可忽略不计。然而，区分度参数在所有条件下均呈现一致的负偏差，表明存在系统性低估。JML-itpar的区分度偏差介于-0.0553至-0.0852之间，而OEM介于-0.0859至-0.1366之间，即OEM对区分度参数的低估程度大于JML-itpar。
**项目选择方法的比较：** 针对2-PL模型下的区分度参数，各项目选择方法的相对性能依赖于估计方法。使用JML-itpar时，没有单一方法在所有条件下持续最优。使用OEM时，D-最优值设计在小样本量（N=250）时产生最高的RMSE，但随着样本量增加性能迅速改善，并在N=1000时达到最低或接近最低的RMSE。而MFI在N=250时表现最佳，但在更大样本量下改善有限。对于难度参数，MFI在几乎所有条件下均产生最低的RMSE，这一优势在OEM下尤为明显，D-最优值设计在大多数条件下产生最高的RMSE。综合来看，MFI提供了最佳的难度参数估计，但对区分度参数的估计在较大样本量下效果欠佳；D-最优值设计和贝叶斯D-最优设计更适合区分度参数的恢复，尤其是在OEM下，但以牺牲难度参数的精度为代价。贝叶斯D-最优设计在两个参数之间提供了较为合理的平衡。
**参数估计方法的比较：** 对于难度参数，OEM在大多数条件下产生比JML-itpar更低的RMSE。2-PL模型下，这种优势在各项目选择方法和各校准样本量水平下基本一致。对于区分度参数，在MFI下，OEM在N=250时优于JML-itpar，但在N=500和N=1000时JML-itpar产生更低的RMSE，这一逆转归因于OEM区分度RMSE在大样本量下改善有限。总体而言，当主要关注难度参数精度时，OEM是明确的优选；当区分度精度同样重要时，两种方法的比较不再呈现单一优势。JML-itpar在MFI下的大样本量情境中展现出特定优势，且其计算更为简单。
**随机校准阶段样本量的影响：** 随机校准阶段样本量对预测项目参数估计精度的影响有限。在两种IRT模型下，给定项目选择方法、估计方法和校准样本量时，不同随机阶段样本量条件下的RMSE值保持相似。随机阶段贡献的项目响应占比从5%到80%不等，但在随机阶段贡献最大份额数据的条件下，RMSE差异仍然很小且无系统性方向，表明自适应阶段的迭代选择和重新估计能有效补偿初始估计质量的差异。
**每项目校准样本量的影响：** 每预测项目校准样本量是模拟中最具影响力的因素。将N从250增加至500再至1000，导致两种参数在2-PL模型下以及难度参数在1-PL模型下的RMSE显著降低。从N=250到N=500的改善幅度通常大于从N=500到N=1000的幅度，这表明在较高样本量下存在收益递减。在校准样本量为500和1000时，JML-itpar搭配MFI产生的区分度参数RMSE低于OEM。
**校准效率：** 累计样本量方面，D-最优值设计在所有条件下所需的累计样本量最小，MFI所需最多，贝叶斯D-最优设计介于两者之间。估计方法不影响累计样本量。D-最优值设计的效率优势源于其倾向于使预测项目以大致相同的速率完成校准，而MFI可能导致部分项目过快积累响应而另一些滞后，从而延长总校准周期。
**四、讨论与结论**
本研究通过全面的蒙特卡洛模拟，系统比较了单维CAT在线校准的核心组件。研究揭示了项目选择方法与参数估计方法之间的权衡关系，这些发现为实际应用提供了具体指导。贝叶斯D-最优设计在跨参数精度与校准效率方面展现了实用默认选项的潜力。OEM在难度参数估计上保持优势，而JML-itpar在特定条件下（如搭配MFI且样本量充足）对区分度参数的估计更为有利。样本量是影响校准精度最核心的因素，建议在2-PL模型下每项目至少收集500个响应以保证可接受的精度。研究结论强调，不存在适用于所有参数和评价标准的单一最优组合，测试项目应根据其具体需求（如优先关注的参数、计算资源、可用的被试流量）来选择校准组件。本研究中JML-itpar的固定能力极大似然实现方法，与Stocking的方法A功能相似但在每次更新时迭代至收敛，并且其固定能力特质有效规避了经典JML中困扰的伴生参数问题，为在线校准提供了一种计算上更为简化的可靠替代方案。这些发现为CAT实践者选择校准组件及未来的方法学研究提供了实证基础与决策参考。
