物理考试中的缺失数据：人口统计模式、课程层面的预测以及对公平的影响

《Physical Review Physics Education Research》：Missing data on physics exams: Demographic patterns, course-level predictions, and implications for equity

　　在之前的一项定量回顾性研究中，我们发现，不同人口统计学背景的学生在物理考试中会留下不同数量的空白题目，从而导致课程成绩出现不公平。在那项研究中，我们认为有充分理由将这些空白视为缺失数据，而不是缺乏理解的标志。在本文中，我们完善了这一分析，并更详细地按种族、族裔以及第一代大学生身份展示了未作答测试题目的分布情况，得出了相同的结论：不同族裔和种族背景的学生未作答测试题目的比例各不相同，而且这些模式并不仅限于成绩较低的学生。我们还纠正了之前研究中的一个错误，发现未作答测试题目在性别方面没有显著差异。最后，我们对课程层面的数据进行了更稳健的分析，表明空白题目是一个课程层面而非学生层面的可控变量，这为在考察教育公平差距时采用课程缺陷模型（而非学生缺陷模型）提供了更多证据，同时也表明教师有可行的方法来最大限度地减少未作答测试题目的数量，从而减少甚至消除与这些缺失数据相关的偏差。我们为希望尽量减少空白题目影响的教师提供了一些建议。

一、引言

成绩被学生、教师、学校以及社会大多数其他群体用作衡量学生对某一学科的理解或技能的标尺。基于这一预期，理解给予学生的成绩与该学生实际理解或技能之间的联系是有用的。当评估因任何原因未能捕捉到个人理解的信息时，例如开放式测试题目被留空，因此无法收集评估，这种联系就变得更加困难。

关于开放式问题空白回答的研究很少。Matters和Burnett [1]发现，学生遗漏开放式回答的可能性远高于选择题，即使开放式问题的分值远高于选择题。Di Chiacchio等人[2]通过识别“离开者”（即在某一时刻后不再完成题目的应试者）和“跳跃者”（即在考试中跳过某些题目的应试者）来区分未作答测试题目数据的模式，表明学生留空可能有不同的原因。现有的研究除了作者自己2018年的会议论文[3]外，都不在物理教育研究领域。

在我们之前对本文所呈现数据集的分析中，我们讨论了与学生相关的“留空行为”[3]。在本文中，我们调整了措辞，将空白测试题目定位为考试未能从学生那里收集到有意义评估信息的失败。这种转变是有意义的，因为它将讨论的重点集中在改变评估和评分方式上，而不是归咎于学生。这一变化也基于本文所呈现的新结果，这些结果表明未作答测试题目的比例因课程班级而异，差异巨大，这意味着评估本身在未完成题目的比例中起着重要作用。

测验和考试可能因外部原因而未能衡量一个人的理解，例如，分配给完成考试的时间不足、测试题目表述不清或模棱两可、印刷或格式问题掩盖了某些测试题目的存在，或任何其他原因。通常，应试者会提交包含未完成题目的试卷。

教师处理空白测试题目的一种常见方式是将该题目计为零分，可能认为如果学生没有提供任何理解证据，就不能给予分数。虽然这种教师做法表面上看起来合乎逻辑且公平，但它并不是对学生某一特定主题知识的衡量。作为教师，本文作者经常希望学生能写点什么，以便有数据来评估学生的回答。然而，由于笔试形式的特点，此时无法进行对话。因此，零分——即没有理解的数值等价物——被授予了那些本应更好地被视为缺失数据的内容。

教师可能满足于给出一个同时包含学生行为和理解程度的分数（事实上，本文作者作为教师也这样做过）；然而，如果不同学生群体的测试题目作答率不同，并且这种做法对某些学生群体的负面影响大于其他群体，那么将未作答题目计为零分很可能加剧课程中的不公平。本研究的重点是未作答测试题目在不同学生群体中的差异普遍性及其对整体课程成绩的影响。

二、不公平的课程结构

尽管几十年的公平性研究侧重于机会和准备方面的差异是造成公平差距的原因，但越来越多的研究表明，课程结构本身也是造成公平差距的另一个主要因素[4-8]。换句话说，课程不仅仅是在衡量由过去不平等导致的表现差异；相反，课程可能实际上在它们选择呈现材料和/或进行测量的方式上制造了不公平。

要理解测量选择如何或为何会导致公平差距，有助于考虑不同人口统计群体在校外有不同类型的经历（如价值观和文化实践），而不同的评估实践与这些经历的一致程度可能有所不同。多年来，各种研究[9,10]调查了学生群体的规范与其教育机构规范之间的不匹配在多大程度上可能影响该群体的学习和最终成绩。例如，Stephens等人[9]提出，第一代大学生可能更倾向于社群所需的价值观，而不太倾向于大多数高等教育机构所期望的个人独立性。参加考试可能是学生在课程中经历的最独立的活动之一，尤其是在主动学习课程中，因此这种特定的文化差异在评估——即最关键时刻——可能被放大。

这种规范的不匹配是课程结构选择可能对不同群体产生不同影响的一个原因。例如，主动学习已被证明平均而言能支持所有群体的学习，但对历史上被边缘化的群体尤为有益[5,7]。同样，增加重考选项[6,11]和降低考试部分权重[12]有助于减轻针对女性在基础物理学中的偏见的有害影响。而先教授概念对历史上被边缘化的群体有益[6,13]。

如果研究人员证明未完成（空白）测试题目与学生理解之间的相关性在不同人口统计群体中有所不同，那么将未作答题目计为零分的做法平均而言会对某些群体造成比其他群体更大的伤害，从而成为公平差距的原因之一。在本文中，我们正是这样做的。

三、关于留空行为的先前研究

在之前的一篇会议论文[3]中，我们分析了不同人口统计群体未完成测试题目的数量。我们发现，女性未完成略高于3%的题目，男性未完成略低于3%的题目，两者之间的差异在统计上显著。我们还发现，属于历史上被边缘化群体和第一代大学生的学生未完成超过3.5%的题目。这些差异看似很小，但当使用百分制评分时，空白回答导致的零分可能对课程成绩产生毁灭性影响[14,15]。例如，Guskey[16]提醒我们：“在百分制评分系统中，要弥补一个零分，学生必须在至少其他九个[同等分值的]作业中获得满分。”

在我们之前的工作[3]中，我们使用了两个独立的分析来确定未完成题目的群体差距是否表明对物理概念理解的差异。首先，我们绘制了已完成答案的平均分数与学生未完成答案比例的关系图，并指出虽然未完成题目更多与已完成答案分数较低之间存在相关性，但相关性很弱（ ），因为图表非常分散。其次，我们表明，即使对于成绩优异的学生，未完成题目数量也存在群体差异。

本文作者在向观众展示之前会议论文的数据时，观众往往对结果感到惊讶。我们从过去一些观众的互动中发现，他们会因此研究而改变评估策略。基于这个原因，作者决定重新审视这项工作，并为更广泛的受众准备更稳健的分析。

四、理论框架

正如我们在之前的工作[6,7]中所做的那样，我们采用了两个模型来指导我们作为教师做出公平的改变，并作为研究者检验这些改变的成功。首先，我们使用“平等对等模型”[17]，该模型将公平课程定义为每个群体的学生平均达到相同总体结果的课程。换言之，课程成绩不能由人口统计学特征预测。我们使用“平等对等模型”与Rodriguez等人[17]所描述的差异在于，我们不认为差距是过去不平等的隐含结果，而是提出测量选择也可能是差距的原因，并且完全消除差距是可能的，只要解决测量中的偏见。

同样，我们采用课程缺陷模型[4]，该模型（与“学生缺陷模型”相比）强调公平差距是课程的特征（可以改变），而不是由先前经历导致的不同人口统计群体的特征。重要的是，我们并不是说不同人口统计群体的经历没有差异。相反，我们提出某些课程结构偏向于某些群体平均而言更普遍拥有的资产，而忽视其他群体的资产，并且这些课程结构可以被改变以消除偏见，使边缘化群体的能力和/或成就得到适当认可和记录。

五、研究问题

对未作答回答给予零分可能对学生的整体考试成绩产生非常负面的影响，特别是如果教师使用传统的百分制[14,16,18]，其中获得约50%或60%的分数被认为是不及格。在本文中，我们不对学生留空题目的原因得出任何结论。相反，我们评估每个学生群体的考试题目未被收集的程度。在这项探索性研究中，我们考虑按性别、种族和族裔以及第一代大学生身份对学生进行几种宽泛的分组。具体而言，我们提出：

1. 未收集的题目层面评估数据（空白）的比例因学生群体而异？
2. 未收集的题目层面评估数据的比例是否与学生的其他理解测量相关？
3. 未完成测试题目的分布如何因课程班级而异？

第一个问题考察未收集的测试题目是否构成公平性问题。第二个问题考察教师在多大程度上能够声称未收集的测试题目代表了对材料缺乏理解，而不是测试未能收集有意义的评估数据。最后，我们的问题探讨了未收集的测试题目与课程班级的相关程度，而非与个别学生行为的相关程度。我们考察了超过15年间，在“通过物理主动感知进行协作学习”（CLASP）课程[19]的两门大学初级物理课程中的考试成绩，并表明不同学生群体参与这些行为的比例不同，且提供证据表明这些差异并不能仅由学生理解不足来充分解释。我们还表明，未收集测试题目的比例与课程相关。最后，我们为那些关注准确评估学生对物理理解、从而尽量减少错过收集评估数据机会的教师提供了一些不同的建议。

VI. 数据库细节
A. 考试题目成绩

在先前关于评分量表差异的研究[3]中，我们使用了2003年至2012年间96个原始班级数据库，汇编了606次测验和76次期末考试中各个部分的794,088个成绩，这些成绩来自参加CLASP系列[19]前两门课程的15,207名学生。对于这些成绩数据，我们匹配了从大学行政部门获得的学生自我报告的人口统计数据。在本文中，我们构建了一个新数据集，在第一批班级的基础上，增加了我们能够获取的、来自该课程系列且遵循其中两个明确定义评分量表中的一种的所有其他匿名班级数据库。对于两种评分量表（四分制量表和百分制量表），我们知道开放式回答题目的零分意味着该题目未被收集（空白）。我们能够获取的所有课程数据库均是在1997年至2014年间提供的。总共，我们的成绩数据库包含1,290,528个成绩，来自155个班级（该系列A部分，即课程I，有60个班级；B部分，即课程II，有48个班级；课程III有47个班级）中951次期中考试（大部分为30至40分钟的测验）和134次期末考试的各个部分。其中包括20,281名独特学生：5,422名学生出现了3次（在课程I、课程II和课程III中各一次），6,220名学生出现了2次（在该系列的两个部分中各一次），8,179名学生在该系列中仅出现1次，以及460名学生在该系列至少一个部分中出现超过1次。

这些班级采用“按回答类别评分”[20]的方法，将学生的解答归入不同类别，然后赋予数值分数。155个班级级数据库包括每个题目给出的个别分数、每位学生的考试总分、计算总体考试分数的过程，以及（在许多情况下）计算最终成绩的过程。期中考试平均题目分数为3.6，期末考试平均题目分数为15.3，整个学期所有考试的平均题目分数为35.6。

我们检查了这些年来课程I和课程II班级中57次单独考试的原始评分标准副本（本文主要涉及该系列的前两部分），对应约200个考试问题，发现95%的可能得零分的题目仅对“空白”或“基本空白”的解答给予零分，这意味着没有展示出任何表明学生尝试解答该题目的工作。在附录A中，我们指出，我们从数据库中课程I和课程II班级最初的3,941个考试题目中移除了约2%的题目，因为它们可能是判断题类型，零分表示答案错误而非未完成。我们仅关注未收集（空白）的开放式问题。我们还因评分者决定对该考试使用某种评分方法而移除了近3%的初始考试题目，该方法同样使得零分对应空白答案不明确（这些评分者通常通过将考试题目分数相加而非求平均来计算考试分数）。关于移除考试题目的更详细讨论可在附录A中找到。该附录还包括我们将课程III排除在数值分析之外的理由。对于本文的结果部分，我们将仅使用课程I和课程II，重点放在课程I上，并将课程II的结果作为同一学生特征的某种独立度量，因为我们可以在不同课程中看到同一学生。课程I的班级彼此非常相似，课程II的班级也彼此非常相似。每门课程每周使用5小时20分钟的活动，仅剩每周1小时20分钟用于标准讲座和评估时间。有关CLASP系列课程的更多信息，请参见Potter等人[19]。

B. 学生人口统计数据

该大学于2015年秋季学期开始收集自我认同的性别信息，因此我们的数据集几乎完全是二元性别。其中包括7,761名被识别为男性的学生，12,433名被识别为女性的学生，2名被识别为非二元性别的学生，以及85名性别未列出的学生。大学行政部门认为第一代学生是指父母双方均未获得学士学位或更高学位的学生，我们将此群体称为1stGen。我们仅有62%学生的第一代身份信息，其中4,385名学生在我们的数据集中是第一代学生。我们的数据集包含大学记录的94%学生的种族和族裔信息。为识别在STEM领域历史上被边缘化的种族和族裔群体，我们使用先前工作中的分类方法[19,21]。自我报告属于非裔美国人、美洲原住民、拉丁裔美国人、墨西哥裔美国人、奇卡诺裔或太平洋岛民美国人中任一群体的学生均包含在此群体中，下文称为HM（历史上被边缘化）。我们的数据集中有2,643名来自这些历史上被边缘化的种族和族裔群体的学生。

我们应该指出，性别是一种与HM身份或1stGen身份截然不同的人口统计学变量。后者的分组是由描述学生父母、监护人或大家庭的变量决定的，而性别是针对学生本人的，且不涉及父母、监护人或大家庭。例如，在我们的数据集中，HM和1stGen变量彼此略微相关，而性别与其他两个分组几乎没有相关性。我们使用数据在图1中展示了这一情况，图1的左半部分显示我们数据中女性比例在其他四个人口统计学分组中大致保持不变。相反，右半部分显示数据中1stGen学生的比例确实取决于我们考虑的另外两个种族和族裔人口统计学分组。我们还将发现留下空白答案概率的差异，这可能与所考虑的人口统计学分组类型的差异有关。

图1. 左侧显示女性学生的比例，比较了历史上被边缘化（HM）和非HM族裔群体，以及第一代大学生（1stGen）和非1stGen群体。右侧显示1stGen学生的比例，比较了HM和非HM族裔群体。

VII. 结果
A. 未完成测试题目的人口统计学特征

为了回答研究问题1，我们想确定不同人口统计学群体中未收集测试题目（空白）的比例，但我们首先需要确定考虑到班级间差异，何种分析是合适的。考试中空白答案的比例因班级而异，范围从某个班级整个考试中0%的答案空白到超过6%的答案空白。这些数字在学生层面和班级层面都存在很大差异，这一事实导致我们使用层级线性建模（HLM）来确定我们考虑的每个人口统计学群体的适当平均值和误差估计。具体而言，我们使用HLM来拟合课程I班级中十个人口统计学定义组别的总体平均空白比例。层级的最低层是学生层面，第二层是班级层面（即学生组参加相同考试的地方）。因此，我们使用HLM来拟合以下方程：

得到的系数将是空白答案比例（）的适当平均值，首先在班级内对学生求平均，然后对班级求平均。两个人统计学分组由性别定义（男或女）。两个由历史上被边缘化的种族和族裔身份定义，即HM或非HM（NHM）。两个由第一代身份定义（1stG或N1stG）。最后，四个是HM身份和1stG身份的交集（N1stG和NHM，或1stG和NHM，或N1stG和HM，或1stG和HM）。请注意，我们仅有51个班级的第一代身份信息。图2显示了每个人口统计学群体中未收集测试题目的平均比例及标准误差，由于我们使用多层级建模，标准误差包括学生之间的变异和班级之间的变异。

图2. 课程I班级中未收集题目层面反应的平均比例按性别、HM身份以及第一代身份区分的人口统计学群体绘制。我们还包含了HM与第一代的交集。对于每个学生群体划分，我们给出了拥有适当识别数据的学生总数以及必须求平均的班级数。

比我们先前工作[3]更仔细的分析显示出对每个人口统计学群体中未收集题目层面反应（空白）总体比例更保守的估计。然而，具有HM身份的学生与同伴之间以及1stGen学生与同伴之间的差异仍然存在。另一方面，我们先前论文[3]中看到的微小性别差异已经消失，因为我们在移除的看似判断题中出现的性别差异是我们先前测量的性别差异的来源。此外，与先前工作相比，标准误差因考虑了班级间的变异而增加。在附录B中，我们扩展了性别结果，表明不仅总体上没有性别差异，而且在我们手头数据可以定义的23个个体（及重叠的）人口统计学分组集合中，未收集测试题目反应没有可测量的性别差异。

接下来，我们分析HM和1stGen身份交集的后果，并在图2中显示，属于多个边缘化人口统计学群体的效应是叠加的。例如，属于HM群体的1stGen学生的考试题目未收集的可能性是非HM群体的非1stGen学生的两倍。从课程缺失的角度重新表述：考试未能捕捉到评估来自历史上被边缘化群体且同时也是第一代学生的学生所必需的数据。附录C显示课程II中存在类似的结果。

为完整起见，我们注意到这些缺失数据比例的人口统计学差异既包括缺失数据的学生人数差异，也包括缺失数据量的差异。为展示这一点，我们使用由HM和1stG交集形成的四个群体，并找出每个群体中在学期内留下零个、一两个或两个以上空白答案的比例。这些比例见表I。我们看到，与非边缘化学生相比，最边缘化的学生中有额外6%在学期内留下一两个空白答案。但对于两个以上空白答案，这个额外数量约为8%。表一。在完整学期过程中，每个单一人口统计学群体中，留下零个、一至两个或两个以上空白答案的学生百分比。标准误在括号中。边缘化学生群体缺失数据的比例高于同龄人。群体 0个空白 1-2个空白 >2个空白 第一代/ underrepresented minority 54.3 (1.4)% 31.6 (1.3)% 14.1 (1)% 非第一代/ underrepresented minority 62.3 (1.4)% 29.0 (1.3)% 9.6 (0.9)% 第一代/非 underrepresented minority 62.6 (0.7)% 29.4 (0.6)% 8.0 (0.4)% 非第一代/非 underrepresented minority 68.5 (0.5)% 25.8 (0.4)% 5.7 (0.2)% B. 我们观察到的人口统计学模式是否由低成绩学生驱动？为了证明人口统计学差异不仅仅局限于课程成绩较低的学生，我们将学生范围限定为那些已完成测试项目（非空白成绩）的平均成绩达到中等B或以上的学生。这部分学生约占整个数据集的40%以上。成绩截止点不仅限制了每班的学生人数，也限制了每个比较组中达到截止点的学生所在的班级数量。结果如图3所示。我们注意到，属于HM和第一代群体的学生，其未收集测试项目的平均数量约是既不属于这两个群体学生的两倍。这既适用于在课程中表现良好的这一子集（图3），也适用于数据集中的所有学生（图2），这表明未收集测试项目比例的差异并不一定代表“已展示理解能力”的差异。这一结论支持了未收集项目本身可能并不总是代表缺乏理解的观点。此时似乎有必要指出，正如我们在之前的工作[11]中所展示的，这些学生的考试成绩很可能包含未被充分理解的人口统计学偏差。这些偏差导致不同人口统计学群体的成绩不同，即使每个群体的平均理解能力或技能相同。因此，使用包含这些偏差的成绩截止点（如图3中我们所作的）会导致群体比较在某种程度上定义不清。图3. 对于非空白答案平均成绩为中等B或更好的学生，在课程I班级中未收集的项目级回答（空白）的平均比例，按性别、HM状态以及第一代状态区分的人口统计学群体绘制。我们还包含了HM与第一代身份的交集。对于每个学生人口统计学群体的划分，我们给出了拥有相应识别数据的学生总数以及需要平均的班级数量。为了完整起见，在附录D中，我们计算了数据库中每个具有显著学生数量的种族和民族群体的未收集考试项目回答的平均比例，发现平均而言更可能有未收集测试项目的种族和民族群体是构成HM的群体，此外还有韩裔美国学生。C. 未收集的测试项目回答如何与高成绩和低成绩相关？学生在考试答案中获得的A成绩比例无疑是衡量他们在班级中表现的一个指标，简单的加法（即总成绩比例=1）告诉我们，学生在考试答案中获得的A成绩比例可能与其空白答案比例以及D和非零F成绩比例呈负相关，当然，也与课程成绩呈正相关，所以让我们来检验这些相关性。表二显示了课程I班级中，与、和空白答案的皮尔逊相关系数。所有三个符号都符合预期，但是，虽然与和具有预期的相对较大相关性，但与的相关性要弱得多。课程II班级（附录C）具有类似的相关性集合。与之间的相关性远弱于与之间的相关性，这一事实表明，学生决定留空不仅仅表明他们不知道如何解答该问题。代表评分者对答案的评估，因此它与同样代表评分者评估的高度负相关并不奇怪。由代表的未收集数据，与的负相关性远不及D和F成绩，这表明未收集数据在某些方面与评分者评估过的答案不同。表二. 课程I学生获得的考试项目A成绩比例与另外三个学生级别成绩变量之间的相关系数。A成绩比例，如预期，与课程成绩和低成绩（D或F）比例强烈相关，但与空白答案比例的相关性要弱得多。成绩变量 变量与FracAs之间的相关性 值 0.827 D. 未收集的测试项目与学生或课程分部的关联性更大吗？包括我们数据库中的所有班级，未收集考试答案的比例在课程系列的课程I（）和课程II（）之间并没有很大差异。这两个数字实际上涉及了很大一部分学生，课程I中有35.1%，课程II中有34.2%的学生至少留下了一个空白答案。这些数字之间的相似性可能会导致这样的想法：也许有的学生愿意留下空白答案，而另有的学生不愿意，并且留空行为在很大程度上由学生决定。当我们看到，对于8793名既有课程I成绩（其中37%至少留下一个空白）又有课程II成绩（其中36%至少留下一个空白）的学生子集，在两门课程中至少一门留下至少一个空白答案的学生比例实际上为57.5%，即大多数学生，这一简单想法变得有些模糊，这反而表明大多数学生在某些情况下愿意留下空白。我们可以通过观察这108个班级中这些数字的变化来更全面地了解这种空白回答现象。为了展示这种依赖于班级的空白变化性，图4展示了对于108个班级（来自课程系列的课程I和课程II）中的每一个，学期中某个时间至少留下一个空白的学生比例与该班级学生平均留下的空白总数之间的关系。在其中的11个班级中，整个学期少于10%的学生留下空白，另一方面，在另外11个班级中，超过74%的学生在学期中至少留下一个空白。由于这些班级除教师和考试外基本相同，这似乎表明特定的考试集在很大程度上决定了学生是否会留下空白答案。这些数据表明，课程本身在决定有多少数据未收集方面起着很大作用。图4. 我们数据库中所有108个课程I和课程II班级中，至少留下一个空白的学生比例。这些比例针对该班级考试中学生平均留下的空白数量绘制。我们看到近58%的学生在他们最初的两门物理课程中至少有一门留下了空白答案。量化学生对留白影响的一种方法是将学生在课程II作业中的留白行为与他们在课程I作业中的留白行为进行比较，看看是否同一组学生在他们每门课中都留白。为了初步了解这种情况，我们可以计算在课程I中至少留下一个空白的学生与在课程II中至少留下一个空白的学生之间的相关性。我们发现这些数字之间几乎没有相关性，皮尔逊相关系数=0.11（）。课程I中的空白比例与课程II中的空白比例的比较产生了类似微弱的相关性0.19（）。物理课程中的留白行为与下一门物理课程中的留白行为没有很好的相关性，这一事实并不能让我们确信留白行为在很大程度上由学生控制。相反，我们将这些现象重新定义为课程未能收集学生的评估数据。E. 未收集的测试项目回答对课程成绩的影响约65%的课程I学生没有留下空白答案。留下至少一个空白的35%的学生，在学期中平均37个考试项目上平均留下了1.87个空白。我们可以利用数据库来估算当一个学生属于留下至少一个空白的35%群体时，对其课程成绩的平均影响。我们将使用变量表示至少留下一个空白答案的学生，使用变量表示没有留下空白的学生。我们将控制物理知识或技能，以便比较留下空白的学生与选择不留下任何空白答案但技能相当的学生。我们已经看到，A区间的考试项目成绩比例与课程成绩高度相关。此外，在之前的一篇论文[14]中，我们表明课程成绩对具有小的二次依赖性，因此我们将同时使用线性和二次项来控制课程中展示的成就（仅使用线性项会得到相同的结果和结论）。我们还将包括成绩量表，用于四分制评分和用于百分制评分，因为我们从先前的工作中得知，由于百分制系统中额外低F等级的平均效应，成绩量表对课程成绩有可测量的影响[14,15]。最后，出于与包括成绩量表相同的理由，我们包括了与之间的交互项。我们再次使用分层建模并拟合以下模型（1）其中系数将衡量在四分制评分班级中留下一个或多个空白答案的群体对课程成绩的平均影响，而将衡量在百分制评分班级中留下空白的学生的相同成绩差异。表三显示，在四分制评分制度下留下空白，平均导致成绩下降不到十分之一个绩点。另一方面，在百分制评分制度下，留下空白答案平均导致超过3倍的更大成绩下降，约为0.3个绩点（例如从B降至）。当空白被赋予零分时，成绩平均的算术性质使得百分制成为更严苛的成绩量表，这在实践中得到了证实。如果我们仅衡量学期中留下一个空白答案的学生（而不是也包括可能留下两个或更多空白答案的学生）的成绩差异，我们会发现类似的结果。我们应该注意，在我们数据集中几乎所有班级中，课程成绩都是在去掉每个学生最低考试成绩后计算的。表三. 对公式（1）进行HLM拟合得到的系数以及它们的标准误、统计量和值。包括课程系列中课程I和课程II部分的107个班级，我们有这些班级的课程成绩，总计27,008名学生。系数衡量了学生属于至少留下一个空白的群体对其成绩的平均影响。该群体平均留下了5.25%的空白答案。系数 值 标准误 统计量 值 4.584 0.048 95.47 0.052 0.0063 0.046 0.064 0.011 1.392 0.030 47.0 VIII.讨论在之前的工作[3]中，我们声称，由于来自不同人口统计学群体的学生留空不同数量的物理题，且留空行为并未完全由表明理解不足的指标所解释，因此留空行为实际上属于缺失数据，在评分过程中应如此处理。在本文中，我们使用课程缺陷模型重新框定了这一现象：来自不同人口统计学群体的考试题目以不同速率未被收集，这意味着对学生技能的测量平均而言对某些群体存在偏见。我们在几个重要方面扩展了先前的工作。在个别学生层面，我们以一种新方式调查了未收集的试题作答与理解指标之间的相关性，并得出同样的结论：每个学生未收集题目的数量并不能由理解不足充分解释。对性别差异的更仔细分析揭示，我们先前关于试题作答更可能从女性中未收集的发现是错误的。我们的数据显示，平均而言，男性和女性在考试中留空的数量相同。有趣的是，当考虑统计异常时，这种缺乏性别差距的情况在我们能够测量的所有种族和族裔中似乎都成立。我们继续发现，两个群体——第一代大学生和历史上被边缘化族裔群体的成员——的试题作答未收集率更高。此外，我们发现，属于这些边缘化群体中的一个以上对未收集试题作答率的可能性有叠加效应。这一发现对于未来定量公平相关研究很重要，因为它表明，如果仅从种族、性别或其他身份的单一方面进行研究，探索课程结构对学生的影响可能是不充分的。在附录D中，我们表明某些种族和族裔群体比其他群体更可能有未收集的试题。虽然本文中的数据并未指出试题作答在不同人口统计学中未收集率不同的具体原因，但一个有趣的可能解释与以下发现相关：性别不是决定试题作答是否被收集的因素，而家庭变量（种族和族裔以及第一代身份）却是。学生与其家庭背景相关的价值观可能影响特定学生留空或不留空的可能性。以下来自一名学生关于留空和部分学分实践的引文可以说明这一现象：“物理学不是胡说八道。你不应该写胡说的答案，但你不得不。我不知道，这感觉有点肮脏，但与此同时我想在考试中得到好成绩……物理学不是基于胡说，但我就在这里。”M. K. Chessey的论文第70页[22]。在上述引文中，该学生表示，在时间压力下遇到挑战性问题时，他们宁愿不写下自己不确定的内容，但在这个特定环境中这正是对他们的期望。在这个例子中，学生非常不愿意为了获得“好成绩”而牺牲只提交高质量作业的价值观。大多数教师会同意这是学生应持有的良好价值观。然而，在大多数限时现场考试中，这也是一个受到惩罚的价值观。同样，这种“胡说”的做法可能会让这个学生感觉不那么像科学家，因为他们觉得自己不应该因部分学分而获得分数。根据他们的价值观，不同的学生在特定情况下可能更有可能或更不可能留空。也许这些价值观与家庭背景有关，这就是为什么我们没有看到性别差异的原因。我们要在此强调，留空行为不一定是好事或坏事，正如我们上面的引文所示，存在留空与“胡说”之间的张力，这可能最好从价值观角度来考虑，这超出了本文的定量范围。Speirs等人最近做了重要工作[23]，对学生关于成绩的感受进行了分类，需要进一步研究以了解考试和成绩在多大程度上塑造学习体验和结果，超越其数值影响。也许从干预角度来看最重要的是，我们发现样本中的某些课程部分（尽管具有相似的评估类型——在这种情况下是限时现场考试或测验）的未收集试题作答远远少于其他部分。我们还表明，如果一名学生在一门课程中留空，这并不与他们在另一门课程中留空相关。这表明未收集试题（或空白）是一个归因于课程结构的变量，从而暗示（正如我们在先前工作中所做[6,7,11]）课程缺陷模型[4]，而非学生缺陷模型，是考虑高等教育中公平差距的合适方式。此外，因为我们看到课程部分具有相似评估格式但未收集试题作答数量差异巨大的例子，我们推断有可能提高从学生那里收集试题的比率，从而有更多数据来有效评估学生。未来的工作将检查与空白率相关的测验和考试属性（即考试长度、考试格式、考试复杂性）。作为教师，我们希望学生在考试中展示他们理解的全部程度，以便每个学生都能获得最能代表他们在该学科知识和技能的分数，但我们也可以从不想假装拥有自己感觉不具备的知识或技能的学生的角度看待这个问题。这只是学生可能留空的一个可能原因，但它说明需要检查不必然代表其知识的评分行为，特别是因为考试题目更不常见地从某些学生群体中未收集。我们发现未收集试题作答依赖于课程，这是一个积极的发展，意味着希望更公平地收集评估数据的教师有一些选择。虽然替代评分策略在高等教育中采用缓慢，且对这些方法的研究滞后[24]，但仍有几种评分或评估实践可能有用。一个可能的解决方案是采用掌握型评分风格，如基于标准的评分[25]、规范评分[26]或其他类型的基于掌握的评分[27]。这是因为这些方法不对同一内容的多次尝试取平均。如果学生留空，他们有机会用另一个分数替换该分数。出于同样的原因，提供考试重考选项也可能有用[11]。另一个选项是采用“最低评分”[28]的做法，包括将低分提高到50%。使用最低评分意味着未收集的考试题目对总成绩的影响更小。另一个允许评分者对未收集试题作答给予零分但更类似其他字母等级权衡其影响的选项是使用类似GPA的四分制[14,15]。使用4.0（或4.5）分制在第七节E中显示为最小化未收集试题影响的有效方式。Townsley和Schmid[29]提供了一些这些方法的简短概述，可能为考虑替代传统评分的教师提供一个不错的切入点。我们敦促读者将留空问题框定为不是学生未能完成题目的问题，而是传统考试未能从学生那里捕获评估其技能所需数据的问题。试图从教导学生不留空的角度来解决这个问题是非常诱人的。例如，促进成长型思维或解决刻板印象威胁的实践可能会减少学生留空的数量，而这些也是无论在何种教室中都应使用的优秀实践。然而，这种方法必然使用学生缺陷模型，因为它试图通过改变学生而非评估来应对结构性问题。课程缺陷模型方法则会改变评估或评分，以最小化或消除偏见。九、局限这项工作的一大局限性是我们无法解释为什么试题作答以不同速率从不同人口统计学群体中未收集，以及为什么这种效应对于属于一个以上人口统计学群体的学生可能是叠加的。我们也无法获得所有可能产生影响的人口统计学群体的数据。例如，学生的社会经济背景也可能与未收集试题数量相关，但我们没有相关数据。未来的定性工作将调查学生在考试期间做出的选择以及影响这些决定的考试结构，这有望帮助解释群体之间差异的原因。同样，尚不清楚为什么某些课程部分的未收集试题作答率高于其他部分。目前的假设是某些班级的考试太长或太难，导致学生跳过问题作为考试策略。然而，仅凭这一点无法解释人口统计学行为的差异。未来，我们将检查留空率高的考试特征，为希望减少留空结果的教师提供进一步建议。十、结论在这项工作中，我们发现来自不同人口统计学（种族和族裔以及第一代身份）的学生的试题作答以不同速率未收集。例如，非第一代且不属于历史上被边缘化群体的学生的未收集试题作答率约为第一代且属于历史上被边缘化群体的学生的一半。即使是在已完成试题上平均成绩为B的学生中，也存在这种大约2倍的差异，表明留空不能由不同物理学群体理解能力的总体差异解释。有趣的是，对于任何族裔和种族人口统计学，未收集试题作答在性别上没有显著差异，可能表明未收集试题数据的差异可能与家庭和/或文化相关的学生价值观有关。此外，我们发现同时属于历史上被边缘化和第一代大学生群体对未收集试题作答率的可能性有叠加效应。这一发现对于未来定量公平相关研究很重要，因为它表明，如果仅从种族、性别或其他身份的单一方面进行研究，探索课程结构对学生的影响可能是不充分的。我们还发现，未收集试题作答高度受课程部分影响。例如，在单个课程部分中，单个问题留空的学生比例从0%到80%不等。我们还发现，在课程I（系列中的第一门课程）中个体学生的留空行为与课程II（系列中的第二门课程）中的留空行为之间没有统计关系。希望最小化由未收集试题作答（空白）造成的不平等的教师应考虑要么采用最小化留空可能性的方法（允许考试重考、布置家庭考试或创建更短的考试），要么使用最小化空白影响的评分实践（如基于标准的评分或4.0分制）。其中一些选项在第八节中讨论。