解决广义部分信用模型与PISA评分说明之间的悖论：一种用于评分内部多维性的广义IRTree方法

《Thinking Skills and Creativity》：Solving the paradox between the generalized partial credit model and PISA’s rating instructions: A generalized IRTree approach to within-rating multidimensionality

　　

Nils Myszkowski | Martin Storme

美国纽约州佩斯大学心理学系

摘要

在2022年PISA创造性思维测试中，学生需要提供开放式回答，这些回答由人类评分者根据标准评定为无分、部分得分或满分。与许多大规模评估一样，PISA使用广义部分得分模型对这些评分进行量化。我们发现，评分说明与广义部分得分模型的假设（即评分内部的单维性）存在冲突：评分者被要求在不同阈值下考虑不同的属性，如适当性、原创性或多样性。通过使用多维广义项目反应树（IRTree）模型，我们解释了评分的顺序性质，并区分了影响每个阈值的属性。多维模型的表现优于单维模型，表明评分内部存在多维性。这些潜在特征之间存在强烈相关性，但其相关程度仅与创造性思维、数学和科学之间的相关性相当。我们讨论了是否仍可以将这些属性合并，以及这对分数有效性和解释的影响。

章节摘录

PISA创造性思维评分中的评分内部多维性

在评估中，学生根据所测量的方面参与不同的活动，可能是生成多样化的想法、创造性的想法，或是评估和改进想法。对于这些方面，他们的回答由经过培训的评分者使用标准化评分指南（OECD, 2024b）进行评判。评分采用三级顺序量表，0分表示无分，1分表示部分得分，2分表示满分。这种方法是一致的

广义项目反应树模型

Myszkowski和Storme（2025）提出了一种直接解决这些问题的框架，即（广义）项目反应树（IRTree）模型（De Boeck & Partchev, 2012; Jeon & De Boeck, 2016）。IRTree模型的核心思想是将观察到的分类反应表示为一系列决策树选择的结果，每个选择都涉及一组特定的潜在特征。

本文目的

本文旨在实证研究评分内部单维性的假设（即，给定一个评分，假设所有评分尺度阈值都由单一属性决定），这一假设既隐含在OECD使用的广义部分得分模型中，又与评分说明相矛盾。据我们所知，Myszkowski和Storme（2025）最近指出了这一悖论，但尚未有人对其进行实证研究。因此，我们提出估计这些模型

数据集

我们重新分析了OECD公开的PISA创造性思维数据集，其中包含受访者的项目得分。对数据所做的唯一修改是排除了那些以二元而非顺序尺度评分的项目，因为这些模型不适用于这些项目。这导致了三个子集：GDI有8个项目，GCI有11个项目，EII有9个项目。

估计

所有模型都是基于重新编码的数据（即项目节点级别数据）使用R语言中的“mirt”包实现的期望最大化（EM）算法进行估计的。所有模型都是通过将潜在方差固定为1来识别的，潜在特征之间的协方差（如果有的话）则是自由估计的。

模型比较

由于Tutz模型没有嵌入到多维模型中，我们使用了“mirt”返回的信息标准来比较非嵌套的IRT模型（Myszkowski, 2021），这些标准包括赤池信息量准则（AIC；Akaike, 1974）、贝叶斯信息量准则（BIC；Schwarz, 1978）、样本调整后的贝叶斯信息量准则（SABIC；Sclove, 1987）和Hannan-Quinn准则（HQ；Hannan & Quinn, 1979），以决定哪个模型的拟合度更好。

模型参数

我们使用项目参数的节点-项目反应函数图来检查模型。我们还检查了潜在变量之间的相关性，因为我们认为这些相关性有助于了解使用多维模型的合理性。研究多维模型中潜在特征之间的相关性是很有趣的，因为除了模型的拟合度之外，这些相关性还可以表明合并这些特征是否合理/实用。

对可靠性的影响及其与成绩的关系

由于我们假设节点1测量的特征的可靠性更高，因此我们计算了不同潜在特征的实证可靠性。使用自助法（1000次重复）获得了置信区间，这种方法之前已被用于从项目反应理论模型计算可靠性进行比较（例如，Myszkowski & Storme, 2018, 2024; Storme et al., 2019）。由于所有特征的方差都固定为1，因此它们的标准误差

除了上述特定方面的模型外，我们还估计了一个跨所有方面的联合IRTree模型，以在统一框架内检查GDI、GCI和EII背后的潜在成分之间的关系。我们没有引入方面级别的潜在变量，而是关注评分说明所暗示的评分过程。具体来说，指定了两个全局潜在特征：一个捕捉适当性，定义为通过第一个决策节点的能力

不同模型的拟合指数在表1中呈现。正如预期的那样，对于GDI，结果参差不齐，BIC和SABIC倾向于单维模型，而AIC和HQ倾向于多维模型。然而，对于EII和GCI子测试，所有拟合指数都倾向于多维模型。总体而言，这些结果表明多维模型的拟合度更好。这种模式也扩展到了子测试的联合分析中，所有信息

可靠性

我们在表3中展示了不同特征的可靠性估计。GCI和EII的原创性（在节点2捕获）的标准误差较大/可靠性较低，而GDI则不是这样，这可能是因为这两种特征已经在节点1被测量了。这与我们的假设一致，即评分的顺序性质会导致节点2的属性可靠性较低，因为节点2在设计时被省略了

我们在表4中展示了IRTree潜在特征与PISA数学、阅读和科学表现之间的皮尔逊相关性。所有方面级别的特征都与PISA核心领域的表现有很强的相关性，而全局适当性和原创性/多样性特征的相关性更强。不同方面和领域之间的差异很小且高度一致。这些结果表明，IRTree模型捕捉到的潜在评分过程是

讨论

在这项研究中，我们比较了假设评分内部单维性的模型和假设评分内部多维性的模型，使用了之前建议的广义IRTree模型（Myszkowski & Storme, 2025）。以这种方式质疑评分内部单维性的假设主要是基于PISA的评分说明，其中评分者被要求针对评分尺度的不同阈值关注不同的属性（Benedek & Beaty, 2025；

结论

项目反应理论的一个核心目标是阐述潜在构念与其在项目反应中的表现之间的关系。由于反应过程本质上受到评分结构的影响，因此一个合理的模型必须与引发反应的方式一致。在PISA的创造性思维测量中，我们质疑了这种一致性。尽管目前使用的GPCM与评分尺度并不完全不兼容，但它并不

在准备这项工作时，作者使用了ChatGPT来协助代码开发和文本编辑（语法、句法、校对和风格改进）。使用该工具/服务后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

Nils Myszkowski：写作——审阅与编辑、原始草稿撰写、可视化、软件开发、方法论、概念化。Martin Storme：写作——审阅与编辑、方法论、概念化。