国际大规模评估中调查脱节的测量：一种方法并不适用于所有情况

《Applied Measurement in Education》：Measuring Survey Disengagement in International Large-Scale Assessments: One Size Does Not Fit All

　　

在国际大规模评估（ILSAs）中，测试脱离是一个广泛探讨的话题，但关于学生在ILSA调查中的脱离情况及其国际比较却知之甚少。在本研究中，研究人员使用PIRLS 2021的数据，比较了25个国家中六种调查脱离指标。研究人员还检验了这些脱离指标、调查得分与阅读成就之间的关系在国际上如何变化。国家解释了脱离指标中的显著变异，尤其是在慢反应百分比（η² = .11）上。快反应预测了遭受欺凌和更差的阅读成就（β分别为0.26和-0.37）。然而，在脱离指标与学生得分之间的关系上，各国之间存在显著差异。研究结果表明，各国在调查脱离以及脱离与目标得分之间的关联上存在有意义的差异，因此，用于识别脱离调查参与者的统一标准可能并不合适。

### 论文解读：国际大规模评估中调查脱离的测量——一种方法并不适用于所有情况

#### 研究背景与问题

在国际大规模评估（International Large-Scale Assessments, ILSAs）中，测试脱离（test-taking disengagement）对分数有效性的威胁已被广泛关注。然而，现有研究主要集中在成就测试部分的脱离，对调查问卷部分（survey portion）的脱离关注不足。在ILSAs中，调查问卷通常安排在成就测试之后，学生可能因疲劳效应而出现脱离行为，且低风险情境（low-stakes）进一步降低了学生认真作答的动机。目前，文献中提出了多种调查脱离的测量指标，包括基于反应时（Response Time, RT）、反应模式（如直线作答，straight-lining）、心理测量方法（如个人拟合，person fit）等，但缺乏对这些指标的国际可比性研究。此外，不同国家在调查脱离的普遍性及其与调查得分、成就得分的关系上是否存在差异，尚不清楚。因此，本研究旨在填补这一空白，为改进ILSAs的有效性提供依据。该论文发表于《Applied Measurement in Education》。

#### 研究开展与结论

研究人员利用PIRLS 2021（国际阅读素养进展研究）的数据，分析了25个国家的四年级学生样本（数据来源：PIRLS 2021背景问卷，仅包括计算机版测试，反应时数据可用）。研究比较了六种调查脱离指标：快反应百分比（fast response percentage）、慢反应百分比（slow response percentage）、缺失屏幕百分比（missing screen percentage）、直线作答百分比（straight-lining percentage）、个人拟合失常（misfitting）百分比和过度拟合（overfitting）百分比，并检验了这些指标与七个调查量表得分（数字自我效能感、学校归属感、欺凌经历、阅读课参与、阅读课混乱行为、喜欢阅读、阅读自信）以及阅读成就（五个似真值，plausible values）之间的关系。主要结论包括：所有脱离指标在国家间均存在显著差异，其中慢反应百分比差异最大（η² = .11）；快反应显著预测了欺凌经历和较差的阅读成就（β分别为0.26和-0.37）；但不同国家在脱离指标与得分的关系上存在实质性差异，甚至在部分国家，脱离与成就呈正相关。因此，使用统一标准识别脱离调查参与者可能不恰当。

#### 主要关键技术方法

研究人员使用了以下关键技术方法：1）基于反应时（RT）的指标：以每项2秒为快反应阈值、30秒为慢反应阈值，计算屏幕级快慢反应百分比；2）缺失屏幕百分比：计算完全跳过的屏幕比例；3）直线作答百分比：识别在同一屏幕内所有选项（至少3个选项且3个题项）选择相同答案的屏幕；4）个人拟合统计量（Z_h）：对每个量表拟合单因子评定量表模型（rating scale model），计算拟合失常（Z_h < -2）和过度拟合（Z_h > 2）的百分比；5）方差分析（ANOVA）和Tukey HSD事后检验比较国家差异；6）多元回归分析（含国家交互项）检验脱离指标对调查得分和阅读成就的预测作用，阅读成就模型使用似真值（plausible values）并加权。样本队列来源为PIRLS 2021的25个参与国家（包括沙特阿拉伯、卡塔尔、阿联酋、德国、丹麦、芬兰、挪威、瑞典、俄罗斯、新加坡等）。

#### 研究结果

**RQ1：调查脱离指标的水平在不同国家间是否存在差异？**
方差分析结果表明，所有六种脱离指标在国家间均存在显著差异（所有p < .001）。效应量（η²）为：快反应百分比 .07，慢反应百分比 .11，缺失屏幕百分比 .06，直线作答百分比 .04，拟合失常百分比 .01，过度拟合百分比 < .01。Tukey HSD检验揭示了具体的国家特征模式：海湾国家（沙特阿拉伯、卡塔尔、阿联酋）在快反应、缺失、直线作答和过度拟合上较高，拟合失常较低；北欧国家（丹麦、芬兰、挪威、瑞典）在慢反应和拟合失常上较高；俄罗斯和新加坡在慢反应和缺失上较低，表明快速但完整的作答模式；但大多数国家呈现出异质性模式。

**RQ2：调查脱离指标是否预测调查反应和阅读成就，且这种关系是否因国家而异？**
在不考虑国家差异的模型中，脱离指标对调查量表得分的解释方差最高为阅读课参与（R2 = .21）。直线作答对喜欢阅读（β = .29）和阅读课参与（β = .26）有较强正向预测作用；快反应显著预测欺凌经历（β = .26）。对阅读成就的解释方差为R2 = .13，其中快反应（β = -.37）、慢反应（β = -.18）和缺失屏幕（β = .16）的预测作用较强。加入国家及交互项后，解释方差增量最高为阅读成就（ΔR2 = .11）和喜欢阅读（ΔR2 = .07）。国家间在脱离效应大小上存在显著差异，例如，直线作答对阅读课混乱行为的预测在芬兰为强负向（β = -0.45），在新西兰为正向（β = 0.11）；拟合失常对喜欢阅读的负向预测在瑞典（β = -0.46）强于西班牙（β = -0.24）。在阅读成就上，部分国家（如沙特阿拉伯）中脱离与成就负相关，而俄罗斯和新加坡中脱离与成就正相关（β > 1）。

#### 讨论与结论

研究讨论部分指出，国家间脱离指标的差异可能源于真实脱离水平的不同（如测试感知价值、阅读理解困难）或统一阈值的误分类（如某些国家鼓励快速作答）。快反应与欺凌经历的强关联可能由低学校参与度解释。调查脱离指标对成就的预测效应与以往研究一致，但弱于基于成就测试本身的脱离测量。研究建议，由于脱离与得分的关系在不同国家间方向与强度各异，测试设计者应针对具体国家和量表实证检验脱离的影响，并开发适合特定国家的脱离识别标准。研究结论部分翻译如下：本研究表明，ILSA调查部分的脱离不仅与调查得分相关，也与测试者的阅读成就相关。我们还发现这些趋势在不同国家间存在差异，在某些情况下，考虑脱离因素可能对得分产生实质性影响。因此，我们建议测试设计者考虑并理想情况下实证检验特定量表可能如何受脱离影响，以及哪些脱离指标和阈值对特定国家最为相关。