多项选择题编写质量对考试表现的影响研究：不同子群体的差异性影响？

《Human Performance》：An Examination of the Effect of Multiple-Choice Item Writing Quality on Test Performance: Differential Effects on Subgroups?

多选题考试中低质量题目对成绩的负面影响及种族差异影响研究。通过60,936名操作警察的关联研究和612名大学生的实验研究，发现违规题目写作会导致成绩普遍下降，但未证实该效应受种族/族裔差异调节。研究强调遵循专业题目写作指南的重要性。

　　

摘要

多项选择题测试形式可以说是评估知识以及其他与群体差异相关的认知要素的主要方法。尽管存在广泛认可的项目编写指南，但似乎没有实证研究探讨过违反这些指南在多大程度上会导致测试分数的差异，尤其是这种差异是否与种族/民族有关——尽管有相关的说法。本文通过以下方式填补了这一空白：(a)研究糟糕的项目编写实践对测试分数的影响程度；(b)利用操作性警察选拔数据（样本量N=60,936）和本科生数据（样本量N=612）进行相关性研究，探讨这种影响是否受到考生种族/民族的影响。虽然研究结果显示的影响通常较小，但考生在“质量较差”的测试中的表现确实更差。然而，尽管结果总体符合预期方向，但并未能证明不良项目对不同种族/民族考生的负面影响存在统计学上的显著差异。尽管如此，由于方法论设计上的限制（例如不允许纳入常见的严重违规行为，如直接提示错误、双重否定等），这些结果可能仅反映了项目质量潜在影响的下限。因此，这凸显了遵守科学和公认的项目编写指南的重要性。