《Educational Assessment Evaluation and Accountability》：When technical standards fail. Questionnaire wording and the comparability of PISA truancy data
编辑推荐：
本文呈现了一个案例研究，探讨了经济合作与发展组织（OECD）国际学生评估项目（PISA）中一个未被发现的措辞变化如何可能导致错误结论。研究人员聚焦于一个旨在跨国和跨时间测量学生逃学行为的调查问题。尽管国际文件表明PISA各轮次使用了相同的问题，但国家文件显示，
本文呈现了一个案例研究，探讨了经济合作与发展组织（OECD）国际学生评估项目（PISA）中一个未被发现的措辞变化如何可能导致错误结论。研究人员聚焦于一个旨在跨国和跨时间测量学生逃学行为的调查问题。尽管国际文件表明PISA各轮次使用了相同的问题，但国家文件显示，2015年部分国家的措辞发生了变化。研究人员展示了这一变化如何容易被忽略，以及它如何影响对逃学趋势的推断，尤其是在比较COVID-19大流行前后的比率时。研究人员还检验了人工智能和大语言模型（LLM）是否有助于识别该问题。然而，这些工具提供了过于自信但不正确的建议。
**论文解读：当技术标准失效——PISA逃学数据中的措辞变化及其对可比性的影响**
**研究背景与问题**
国际大规模评估（ILSAs）如PISA为全球教育政策制定者提供了可跨国、跨时间比较的高质量数据。然而，即便有严格的技术标准（如翻译、抽样、质量控制），数据可比性仍可能因细微失误而受损。本研究聚焦于PISA中一个被忽视的措辞变化：2015年，部分英语国家（如英格兰、威尔士、北爱尔兰、美国）将逃学问题中的“skipping school”（故意逃学）改为“missing school”（缺课）。这一变化虽看似微小，却可能改变问题所测量的构念，导致对逃学趋势的错误推断，尤其是疫情前后的比较。此前，包括OECD自身报告（OECD, 2016）以及Fredriksson等（2023, 2024）的研究均未察觉此问题，可能得出错误结论。本研究旨在揭示该问题，并检验人工智能（AI）和大语言模型（LLM）能否帮助识别此类数据质量缺陷。
**研究内容与结论**
研究人员分析了PISA 2012、2015、2018和2022年四个轮次的数据，重点关注英语国家（澳大利亚、加拿大、美国、英国等）。他们发现，尽管国际文件显示各轮次均使用“skipped”一词，但国家问卷显示，2015年部分国家将措辞改为“missed”。通过线性概率模型（LPM）比较不同年份的逃学率，并控制性别、移民背景和社会经济地位，研究人员发现：若未排除2015年数据，疫情后逃学率的增加会被低估（例如美国从8.9个百分点降至3.4个百分点）；排除2015年后，美国、英格兰、北爱尔兰等国的疫情后逃学增加幅度显著上升，与其他国家趋势一致。此外，类似措辞问题也出现在其他OECD国家（如哥伦比亚、哥斯达黎加、捷克共和国），且不同语言版本间存在差异。AI工具（ChatGPT 5.0深度研究模式）在通用提示下未能识别该问题，反而错误地确认数据完全可比。该论文发表在《Educational Assessment Evaluation and Accountability》。
**关键技术与方法**
研究人员使用了PISA 2012、2015、2018和2022年四轮数据，样本来自OECD中以英语为官方语言的国家（澳大利亚、加拿大、美国、英国及其组成部分）。核心方法为线性概率模型（LPM），以学生是否至少逃学一次为二分类因变量，以PISA轮次（作为虚拟变量）为主要自变量，控制性别、移民身份和社会经济地位分位数。模型对每个国家分别估计，并通过比较包含与排除2015年数据来评估措辞变化的影响。此外，研究人员通过下载并审阅各国国家问卷（PISA官网提供）来核实措辞，并收集了其他OECD国家的问卷翻译以扩展分析。AI测试部分使用了ChatGPT 5.0的深度研究模式，通过一系列由宽泛到具体的提示词进行交互。
**研究结果**
**4 Results**
通过线性概率模型（LPM）比较疫情前（2012-2018）与疫情后（2022）的逃学率，发现措辞变化国家若不排除2015年数据，疫情后逃学率增加幅度被严重低估。例如，美国从8.9个百分点降至3.4个百分点，北爱尔兰从5.5个百分点降至2.6个百分点，英格兰和威尔士的估计值也膨胀了40%。当以2015年为参照年时，措辞变化国家（蓝色标记）的2022年逃学率与2015年相似甚至更低，掩盖了疫情后上升趋势；而未变化国家（黑色标记）则呈现明显上升。
**4.1 Similar wording issues in other OECD countries and cycles**
通过收集并翻译各国国家问卷，发现措辞变化并非仅限于英语国家或2015年。例如，哥伦比亚在2015和2018年使用“I missed a whole school day”，2022年改为“I missed a whole day of school without any justification”；哥斯达黎加类似；葡萄牙仅在2018年使用“missed”；捷克共和国每轮均使用“I was absent from school all day”。此外，同一国家不同语言版本间也存在差异：爱沙尼亚、芬兰、斯洛伐克共和国的英语翻译中使用了“skipped”，但其俄语、芬兰语、斯洛伐克语版本对应“missed”且未提及“未经许可”。
**4.2 Would AI be able to spot this problem?**
在通用提示下，ChatGPT 5.0未提及任何措辞变化，反而声称“同一问题在2012-2022年完全一致，可直接比较”。在直接询问数据可比性时，LLM反复确认“问题措辞未变，趋势直接可比”。仅当研究人员明确要求忽略Fredriksson等论文并直接询问具体问题时，LLM才建议“应检查各国语言版本是否存在微小差异”，但未主动识别问题。
**讨论与结论**
**讨论**
PISA的技术标准（如标准4.3和4.4）要求国家版本应与国际来源保持等价，并通过双重翻译、独立专家验证等流程。然而，本案例表明这些流程不完美。措辞变化可能源于2015年PISA承包商从澳大利亚教育研究委员会（ACER）更换为教育测试服务（ETS），同时伴随纸笔到计算机评估的转换，以及英国国家承包商变更。多重重叠变化可能削弱了质量控制。研究局限性包括：案例具体性可能不具普遍性；LLM测试仅使用单一工具和有限提示词；缺乏对青少年的认知访谈以确认措辞变化对理解的具体影响。
**结论**
本研究揭示了PISA逃学问题中一个未被发现的措辞变化（从“skipping”改为“missing”），该变化可能改变了问题含义，从而影响跨国和跨时间比较。这一变化导致先前研究（包括OECD报告和Fredriksson等）可能得出错误结论，并模糊了疫情前后逃学率的真实变化。研究强调，国际组织应提高透明度与问责制，国家中心需仔细检查每个阶段，数据用户应深入审阅国家文档并制作简单描述统计。AI和LLM目前无法替代细致的人工审查，过度依赖可能强化错误主张。
