连续题项库增长下用于认知能力个性化测量的实时动态自适应测试组卷

《Journal of Intelligence》：Real-Time Dynamic Adaptive Test Assembly for Personalized Measurement of Cognitive Abilities Under Continuous Item Bank Growth

　　

在教育场景中，对个体认知能力的准确测量日益依赖能适配学习者当前能力水平的个性化测评系统。这类系统持续实时生成并使用测评题项，绕过了传统标定所要求的预测试周期，致使题项库中含大量参数须先被预测的新题项比例不断上升，且每份测试表单须在测评循环的时间预算内实时组卷，以匹配学习者当前能力水平与内容需求，支撑有效的个性化教学。研究人员提出一种Ising框架，同步满足两项需求：从文本预测题项参数并给出经标定的不确定性估计，以及在测评循环时间预算内组出个性化测试表单。该框架通过因子化仿真与一项针对3至12年级州级英语语言艺术（English Language Arts）题项的实证研究加以验证。仿真中，所提不确定性感知方法的测试信息函数（Test Information Function, TIF）平均差距为0.226，而忽略预测不确定性的常规基线为1.171。所提方法在整个运行区域均产出可行表单，而机会约束与鲁棒基线在高预测误差结合高预测题项占比时变为不可行。实证研究中，合并条件下预测区间覆盖度在名义水平的十个百分点以内，不确定性感知组卷降低了相对基线的TIF差距，且在能力分布两端增益最大，而该处准确测量对教学安置决策最为关键。该框架通过将预测不确定性与能力真实个体差异分离，保留了认知能力估计的可解释性，并为连续题项库增长下支撑差异化教学的个性化测评系统奠定基础。

研究背景方面，个体化智力测量旨在准确刻画每位学习者当前能力以指导教学决策，而个性化学习环境要求题项库随新标准持续扩展，并由大语言模型（Large Language Model, LLM）辅助即时生成题项，传统混合整数规划（Mixed-Integer Programming, MIP）组卷依赖已知标定参数且无视文本预测带来的误差，鲁棒优化仅适用数百应答预测试的中等不确定性，Transformer题项参数预测研究又止步于点估计而未将不确定性传入组卷。因此，在连续题项库增长下，实时组卷面临三重耦合约束：新题项无应答数据须从文本预测参数、预测须带可信不确定性、组卷须在数秒预算内完成并兼顾蓝图与曝光约束。

研究人员开展的研究提出三阶段闭环框架：第一阶段以RoBERTa编码器微调结合深度集成（Deep Ensemble）异方差高斯负对数似然训练，从题项题干、选项、年级与内容标准文本预测对数区分度与难度均值及协方差，用五成员集成聚合认知（epistemic）与偶然（aleatoric）不确定性并经保序回归重标定；第二阶段用Delta方法将参数不确定性传播至Fisher信息，构造均值—方差（Mean–Variance, MV）目标，并将题长、内容蓝图、敌对角项、预测题项占比上限与曝光惩罚写为二次无约束二值优化（Quadratic Unconstrained Binary Optimization, QUBO）的二次项罚函数；第三阶段将QUBO等价转为Ising模型，采用模拟退火（Simulated Annealing）任意时间（anytime）求解，在1秒预算内返回当前最优可行解。论文发表于《Journal of Intelligence》。

关键技术方法概括：研究人员采用RoBERTa-base微调深度集成回归预测题项参数与异方差不确定性，以美国3至12年级州级英语语言艺术（English Language Arts）多选题项库（2PL标定）为实证队列；仿真采用全交叉因子设计（预测误差低中高×预测题项占比0.25/0.50/0.75×题库规模×测验长度）百次重复，对比朴素MIP、机会约束MIP、鲁棒MIP、所提MV-QUBO、最坏情形QUBO及贪心六法；不确定性经保序回归重标定，组卷经QUBO转Ising由模拟退火在1秒预算并行重启求解，端到端延迟于ml.m5.8xlarge实测。

研究结果各节简要结论如下。

1. 2.
   Methods：给出2PL下正确反应概率、Fisher信息、TIF与条件测量标准误公式；标定题项视常数，预测题项取对数区分度与难度双变量正态预测分布；三阶段流水线明确文本预测、Delta传播、QUBO罚函数与模拟退火任意时间求解的接口，使标定与预测题项同构处理。
2. 3.
   Simulation Study：3.1设计六法全交叉因子仿真；3.2按真参数加正态噪声生成预测值并设良标定/过置信/欠置信分支；3.3以真实与宣称TIF绝对差（TIF gap）为主指标，能力RMSE为辅；3.4.1 MV-QUBO（M4）平均TIF gap 0.226，最坏情形QUBO（M5）0.185，朴素M1为1.171，且M4/M5随预测误差近平坦；3.4.2模拟退火在1000题库冷启动完跑11.06秒，但1秒预算达收敛信息94.0%、可行率99.4%；3.4.3端到端含QUBO构建于千题库999.7毫秒内完成；3.4.4 M4/M5在全运行区硬约束违反率近零，鲁棒MIP（M3）在高误高预测占比达0.95不可行；3.4.5 M4/M5能力RMSE约0.44高于M1的0.34，但宣称标准误0.421接近实现值，M1宣称0.270低估实误，且能力两端M4反超M1约0.03；3.4.6过置信使M4 TIF gap升至0.402、覆盖度跌至0.74，欠置信略降至0.198；3.4.7题间预测误差相关0.6时M4 TIF gap升至0.958、覆盖0.668但方法序不变；3.4.8标定题项补入边际最大似然标准误后M4 TIF gap由0.158升至0.213，基线仍1.495；3.4.9预测占比0.5时朴素短fall率69%而M4仅22%；3.5总结不确定性感知组卷在误差增大下优势扩大且QUBO保可行与任意时间性。
3. 4.
   Empirical Study：4.1采用美国3至12年级州级英语语言艺术2PL标定多选题项库，筛除低区分度与非常规难度及拟合不良项；4.2 RoBERTa-base深度集成难度R²为?0.191、对数区分度R²为0.281，点预测弱但集成预测区间合并条件覆盖距名义水平十个百分点内，五成员集成至M=4聚合覆盖已稳；4.3全标定场景宣称与真实TIF一致，混合场景20%新题用预测参数，不确定性感知组卷降低TIF gap且在能力两端增益最大。
4. 5.
   Discussion与6. Conclusion浓缩：讨论指出框架把预测不确定性从能力真差异中分离，避免把题项参数误差误归为个体能力变异，牺牲约0.06可靠性换得宣称标准误近似实现标准误及全区域可行；局限含题间相关破坏独立假设、小样本下认知不确定性噪、深度集成点预测准度有限但区间标定可用、跨年级迁移尚可而每年级仅百项微调受限。结论翻译：该研究通过把Transformer题项参数预测与Ising式鲁棒组卷整合，在连续题项库增长下满足实时个性化测评三项操作需求；所提不确定性感知均值—方差QUBO由模拟退火任意时间求解，在1秒预算内产出近收敛可行表单，TIF gap较忽略不确定性基线降低约五分之四，且在高预测误差与高预测题项占比下仍保可行，而机会约束与鲁棒MIP失效；实证中区间覆盖可信且极端能力处测量保真度改善，从而保留认知能力估计可解释性，为差异化教学下的个性化测评系统提供基础。