《Multivariate Behavioral Research》：Homogeneity-Pursuit Calibration of Item Response Theory Models with Limited Samples and Sparse Response Data
编辑推荐：
摘要专业翻译
当题库规模相对于可用样本量较大且作答数据呈稀疏观测时，项目反应理论（Item Response Theory, IRT）模型的校准面临挑战，这一情形常见于课堂评估、低风险测验以及题库开发的早期阶段。上述挑战在双参数逻辑斯蒂克模型（two-para
摘要专业翻译
当题库规模相对于可用样本量较大且作答数据呈稀疏观测时，项目反应理论（Item Response Theory, IRT）模型的校准面临挑战，这一情形常见于课堂评估、低风险测验以及题库开发的早期阶段。上述挑战在双参数逻辑斯蒂克模型（two-parameter logistic model, 2PL）中尤为突出，因为无约束估计往往会产生不稳定或极端的题目参数估计值。为解决该问题，研究人员提出了一种基于同质性追踪（homogeneity pursuit, HP）的新型校准框架，该框架通过自适应地合并具有相似心理测量学属性的题目信息来稳定估计过程。该方法并非旨在恢复潜在的真实分组结构，而是通过数据驱动的等式约束降低模型的有效复杂度，从而提升有限样本下的估计精度。研究人员开发了所提框架的两种变体——HP-Scott与HP-Silhouette，二者在引导自适应合并的准则上有所区别。三项模拟研究在理想化及现实题库设置下评估了HP的性能，涵盖了连续参数变化、小样本量以及高缺失作答率等条件。在这些条件下，与基线方法相比，HP持续降低了估计误差并缓解了极端参数估计问题。一项缺失作答率超过60%的真实课堂评估应用进一步表明，HP能够产生更合理的题目参数估计值并具有更优的模型拟合度。
论文解读文章
一、研究背景与问题提出
项目反应理论（Item Response Theory, IRT）模型是教育与心理测量领域的基石性工具，广泛应用于GRE、GMAT等高风险大规模测验，PISA、TIMSS等国际评估项目，以及计算机自适应测验（Computerized Adaptive Testing, CAT）系统。然而，IRT模型的准确校准始终面临挑战。作为参数模型，IRT需要从预测试或校准阶段收集的作答数据中估计题目参数。对于包含题目区分度参数的双参数逻辑斯蒂克模型（two-parameter logistic model, 2PL），可靠估计通常需要较大的样本量，传统经验法则建议每个题目需要数百名被试。这一要求在大规模测验项目中可以满足，但在课堂评估、低风险测验等应用场景中往往难以实现，这些场景每次施测可能仅有数十或数百名被试。
尽管Rasch模型或单参数逻辑斯蒂克模型常被推荐用于小样本校准，但许多应用场景仍需关注题目区分度的异质性，尤其是在题库开发的早期阶段、预测试、形成性与诊断性评估以及低容量测验项目中。在这些情境下，区分度参数可为题目修订、题目筛选、测验组卷及未来题库优化提供有价值的证据。然而，早期校准数据往往有限：样本量小、题目曝光不均、稀疏作答设计导致每个题目的作答数量相对较少。在这种条件下，完全无约束的2PL模型可能产生不稳定或不可接受的题目参数估计，而将所有题目的区分度约束为共同值又会掩盖题目间的实质性差异。
此外，现有稳定化方法存在各自的局限：贝叶斯方法在先验设定良好时可提升稳定性，但对先验误设敏感且在稀疏设计下可能遭遇收敛问题；模型重构方法虽降低了维度但常改变题目参数的实质性解释；惩罚估计器通过固定全局收缩促进同质性，但需要仔细调参且在近似或连续题目结构下可能引入持续偏差。同时，预测试阶段通常采用不完整设计以减少测验负担并控制题目曝光，导致作答矩阵稀疏，缺失率常超过40%，某些应用中接近70%。上述问题共同构成了本研究的核心动机：在区分度参数具有实质性价值但样本量与作答信息有限的情况下，如何稳定2PL校准。
二、研究内容与核心方法
针对上述问题，研究人员提出了一种基于同质性结构学习（homogeneity structure learning）的新型估计框架。该框架的核心思想是：题库中的题目参数往往呈现近似相似性或潜在分组结构，这种结构源于共享的测验蓝图、共同的内容标准或题目族与模板的生成方式。当分组信息先验已知时，可采用基于题目族的校准方法；但实际运营场景中，此类信息常常不可得、不完整或不可靠。因此，研究人员的目标并非精确恢复潜在题目分组，而是通过自适应合并相似题目的参数信息，作为一种有原则的方差缩减策略，以轻微的收缩偏差换取估计精度的实质性提升。
该框架名为同质性追踪（homogeneity pursuit, HP），其核心流程是一个迭代的“扰动-检测-更新”方案。首先，通过边际极大似然估计（Marginal Maximum Likelihood Estimation, MMLE）获得无约束的初始题目参数估计，并利用Oakes法计算标准误以构建Wald型置信区间。随后，在每次外层迭代中，从置信区间内随机抽样生成扰动参数向量，分别对区分度与截距参数进行排序，并采用移动和（Moving Sum, MOSUM）统计量与滚动窗口分割算法检测多个变点，变点位置即隐含了参数的同质性分组结构。检测到的分组结构转化为等式约束，研究人员在此约束下重新估计题目参数。最终估计通过对多轮迭代结果取平均获得，以平均化分组特定变异并降低对单次分组估计的敏感性。
带宽选择是决定合并粒度的关键环节。研究人员提出了两种数据驱动准则：HP-Scott基于Scott型准则，采用总平方和与组内平方和之比并附加复杂度惩罚项；HP-Silhouette则基于轮廓系数（silhouette index）选择最优带宽。两种准则分别应用于区分度与截距参数，允许二者具有不同的合并粒度。
三、研究结果
模拟研究一：理想化题库设置下的性能评估。 该研究在参数呈现清晰分组结构的理想化条件下评估HP框架的性能。结果表明，与无约束MMLE基线方法相比，HP持续降低了估计误差并缓解了极端参数估计问题，验证了方法在理想条件下的有效性。
模拟研究二：连续参数变化设置下的性能评估。 该研究考察题目参数连续变化而非形成清晰分离分组的情形。结果显示，即使在结构恢复不具现实性的条件下，HP仍通过自适应合并相似题目信息有效降低了估计误差，证实了该方法作为方差缩减策略的稳健性。
模拟研究三：小样本量与高缺失率现实设置下的性能评估。 该研究模拟了更贴近实际运营的场景，包括小样本量和超过60%的高缺失作答率。HP在所有这些挑战性条件下均保持了对基线方法的优势，进一步确立了其在实际稀疏数据情境中的适用性。
真实数据应用：课堂评估。 研究人员将HP应用于一项缺失作答率超过60%的真实课堂评估数据。结果表明，HP产生了更合理的题目参数估计值，并展现出优于基线方法的模型拟合度，为方法在实际应用中的价值提供了直接证据。
四、讨论与结论
讨论部分强调，尽管所提方法借鉴了变点检测与同质性追踪的思想，但分组结构的识别并非主要推断目标。潜在同质性结构不可观测，因此HP作为无监督结构检测程序运作，其目的在于构建简约的低维表示以促进参数估计，而非恢复“真实”分组配置。同质性检测在此充当中间正则化步骤，自适应降低有效参数维度并在有限样本与稀疏作答条件下稳定题目参数估计。最终估计聚合了多轮迭代的检测结果，进一步降低了对单一分组估计的敏感性。
研究结论指出，HP框架为小样本与稀疏作答数据下的2PL模型校准提供了一种有效且稳健的解决方案。通过自适应合并相似题目的参数信息，HP在保持区分度参数实质性价值的同时，显著提升了估计的准确性与稳定性。该方法为课堂评估、低风险测验及早期题库开发等实际应用场景提供了有价值的校准工具，并为IRT校准中有限样本与高维参数之间的矛盾提供了一种新的解决思路。
