测量学生推理的开放式与封闭式反应方法：使用物理测量问卷的案例研究

《Physical Review Physics Education Research》：Open- versus closed-response methods of measuring students’ reasoning: A case study using the Physics Measurement Questionnaire

　　我们比较了两种问题的开放式与封闭式回答版本，这两种问题测量的是学生在物理测量问卷中的推理能力，分别是“均值相同、离散度不同”（SMDS）和“均值不同、离散度相同”（DMSS）。我们在一个班级（N=248）中进行了实验，以测试先让学生回答开放式问题是否会影响他们对封闭式问题的回答。为了检验回答开放式问题是否会改变学生后续的封闭式回答，我们让一半学生在看到封闭式选项之前先解释他们的推理，而另一半学生则直接进入封闭式推理选项。我们发现，在开放式问题中询问学生推理过程对他们后续的封闭式回答没有影响。此外，我们还通过评估学生的开放式回答与封闭式回答之间的一致性，调查了我们是否以不同方式测量了学生在封闭式与开放式问题版本中的推理。尽管我们在两种方法中测量到了学生推理的相似性，但差异表明开放式问题和封闭式问题提供了不同的信息。这些结果提示，在决定采用开放式还是封闭式评估形式时，需要进行批判性判断。I. 引言历史上，教育研究者倾向于在大样本研究中使用标准化评估中的封闭式问题，而非开放式问题。这种偏好的主要动机在于，开放式问题需要投入大量时间和精力来分析每个回答，而封闭式问题的回答则可以更快地进行汇总分析。然而，随着社会科学方法的最新创新——利用机器学习模型来扩展定性分析（例如，参考文献[1–3]），分析开放式与封闭式数据所需的时间和精力差距正在缩小。因此，教育研究界对以比以往更高效的方式分析开放式问题的前景进行了大量讨论。特别是，人们对利用大型语言模型和其他自然语言处理方法感到兴奋，这些方法已被证明能够以与人类分析师相当的信度水平分析数据（例如，参考文献[4–6]）。对机器学习模型的热情尤其源于一种担忧，即满足21世纪科学、技术、工程和数学（STEM）学生的需求需要强调比封闭式问题所能评估的更多的学习维度[7]。例如，K-12教育的研究者认为，要求学生构建回答的任务能提供多维学习的最强证据，但“评分资源的缺乏”迫使人们开发封闭式评估[8]。事实上，一份关于“制定下一代科学标准评估”的报告指出，“选择性反应项目可能不足以评估下一代科学标准（NGSS）表现期望的全部广度和深度，特别是在评估……科学与工程实践方面”[9]。然而，确实存在许多用于评估物理中高阶思维和推理技能的封闭式评估，例如批判性思维[10,11]、科学推理[12,13]或评估实验数据[14]。这些发展使得有必要重新讨论封闭式与开放式问题，这场讨论已经持续了几十年。具体到物理教育研究，例如，有许多研究比较了学生在考试、概念清单和调查的开放式与封闭式版本中的表现（例如，参考文献[15–19]）。两项元分析发现，封闭式问题的得分通常高于开放式问题，但当这两种问题“题干等价”时，即封闭式问题只是在相同的开放式问题题干上添加了答案选项时，这种差距会缩小[20,21]。两项元分析中较近的一项[20]还发现，封闭式与开放式问题的得分高度相关，尽管效果可能因学生特征而异。该研究的结论集中在与公平性相关的政策影响上：测试形式是否系统性地有利于某些群体而非其他群体？关于应试策略（例如，猜测）的相关担忧也随之出现。然而，当前案例研究的背景较少涉及学生的得分是否会因形式不同而有所差异。相反，我们关心的是对学生理解的测量：不同形式是否提供了关于学生理解的不同信息？如果是，哪种方法最为有效？为了理解在哪些情境下最适合选择封闭式或开放式形式，我们必须考虑单个调查问题旨在测量什么。先前直接将开放式问题与对应封闭式问题进行比较的研究结果各不相同，表明结果将取决于所测量内容的性质[22–24]。关于数据所能提出的主张类型取决于问题的生成方式、数据的构建方式以及施测的背景。此外，先前研究发现，项目的顺序会影响学生的回答方式，特别是当项目具有相似的表面特征时[25]。对一个问题的开放式和封闭式两个版本进行施测，是收集必要数据以直接比较学生回答的直观方式，但这可能会改变他们对第二个问题的回答。因此，在本研究中，我们旨在调查学生是否根据是否首先被问到开放式版本的问题而在封闭式问题中选择不同的推理项目。我们使用认知可及性概念[26]，正如我们在先前工作中所做的那样[27]，来理解为什么开放式和封闭式问题会对学生的解释进行不同测量。认知可及性指的是解释在脑海中浮现的相对强度，并且，如参考文献[26]所定义，我们将解释的相对可及性定义为“该解释在自由回忆任务中被列出的次数”。例如，考虑一个关于比较数据集的问题，如物理测量问卷（PMQ）[28]中的问题。学生被问及两个数据集是否一致（一个封闭式判断问题），然后被要求解释为什么得出这个结论（一个开放式推理提示）。在回答判断问题时，学生会访问他们“可用”的所有知识片段[29,30]中的一个子集。根据情境，这个知识的特定子集可能是“可及的”。开放式推理问题要求学生回忆他们用来得出答案的解释。根据参考文献[26]，学生会写下对他们来说最可及的解释。遵循这一框架，开放式问题可能对可及性更敏感，而封闭式问题则可能揭示学生在被提示时识别为相关的解释，包括可能可用但最初并不可及的解释。因此，可及性与可用性模型表明，开放式与封闭式问题很可能测量不同的认知过程：开放式问题评估学生可及的知识片段，而封闭式问题可能提供关于学生在被提示时识别的想法可用性的证据。因此，我们必须谨慎理解，由于机器学习机会而提出的向开放式问题转变如何可能改变我们测量的性质和由此产生的主张。在这里，我们重新讨论如何通过开放式和封闭式问题测量学生推理，这是一个更大项目的一部分，该项目旨在测量学生对实验测量的思考。我们受到激励去探索新的情境，以理解和证明同一个问题的开放式和封闭式版本如何影响对学生推理的测量，因为我们想确保我们使用了最适合我们研究的问题形式。在本案例研究中，我们调查以下内容：1. 学生是否根据是否首先被要求在一个开放式问题中写下他们的推理，而在封闭式问题中选择不同的推理项目？2. 我们是否在封闭式与开放式问题上测量到不同的学生推理？我们的研究基于PMQ [28,31,32]的背景，我们将其用于一个更大的研究，以理解学生对测量和不确定性的思考。该评估被设计为开放式评估，近期的研究试图开发自然语言处理算法来自动评估学生的回答[6]。该评估还被转换为封闭式形式[33]，其他研究者也寻求开发探测类似构念的封闭式评估[34,35]。我们的研究旨在审视这些不同方法之间的权衡，我们期望这能告知跨评估构念的讨论。II. 方法A. 数据来源我们的调查使用了PMQ [28,31,32]中的两个问题：均值相同、离散度不同（SMDS）（图1）和均值不同、离散度相同（DMSS）（图2）。这两个问题都旨在测量学生在比较数据集时关于测量和不确定性的推理模式。两个问题都有两个部分：判断部分和推理部分。在判断部分，学生被要求通过从一小组选项中选择回答（SMDS有三个选项，DMSS有两个选项）来对一对数据集做出判断。在推理部分，学生被问及他们在判断部分做出选择背后的推理。图1. SMDS的判断问题。图2. DMSS的判断问题。在PMQ中，这些问题涉及一个用文字和图像描述的实验情境。情境是一个想象场景，其中实验课中不同小组的学生为抛体运动实验收集数据，他们将一个球放在斜坡上，球滚下斜坡并离开桌子，学生测量球水平移动的距离。在我们的调查中，在呈现这两个问题之前，学生观看了一个嵌入在调查中的短视频（或阅读带有图像的文本），该视频解释了这两个问题共享的背景。在SMDS中，学生看到了两个数据集，他们被告知这是由想象中的实验课中的两个小组（A组和B组）收集的（图1）。两个数据集都有五个数据点（来自球的五次释放）。两个数据集具有相同的平均测量值435 mm，但两个数据集的离散度不同（一个学生不知道的数量，但可以从数值推断出来）。在判断部分，学生被要求回答“你认为哪组的测量更好？”并从以下选项中选择：“A组”、“B组”或“A组和B组的测量同样好”。在选择他们对判断问题的回答后，学生被问及他们的推理。在DMSS中，学生看到了两个新的数据集，他们被告知这是由想象中的实验课中的另外两个小组（D组和E组）收集的（图2）。两个数据集都有五个数据点（来自球的五次释放）。两组数据具有相似的离散度但不同的均值：D组数据的平均值为433 mm，E组数据的平均值为435 mm。在判断部分，学生被问及“这两组的结果一致吗？”并可以选择“是”或“否”。与SMDS一样，在回答判断问题后，学生被问及他们的推理。1. 问题的两个版本我们测试了两个问题推理部分的开放式和封闭式版本。在封闭式版本中，我们提示学生“请选择以下1或2个与您选择[回答]的推理最相关的陈述。”列表中的每个陈述都是学生可能为做出他们所做的判断而提供的潜在解释。这些封闭式陈述如表I（SMDS）和表II（DMSS）所示。开发这些项目的方法如下所述。在开放式版本中，我们直接问“请解释您的选择”并提供了一个开放的文本框，与PMQ的原始施测方式相同。所有收到问题开放式版本的学生也在下一页收到封闭式版本。表I. SMDS探测的封闭式推理项目。学生被要求选择这些陈述中与其选择“A组”、“B组”或“A组和B组测量同样好”的理由最相关的一项或两项。 A组 B组 A组和B组 A1：A组的极差小于B组的极差。 B1：B组的极差大于A组的极差。 AB1：A组测量的极差（424–440 mm）与B组测量的极差（410–460 mm）大致相同。 A2：A组的最后一次测量值为435 mm，即平均值。 B2：B组的数据更分散，因此更有可能捕捉到真实值。 AB2：两组测得相同的平均值（435 mm）。 A3：A组可能使用了比B组更好的方法。 B3：B组可能使用了比A组更好的方法。 AB3：A组和B组使用了相同的方法。 A4：A组测量的离散程度（如标准差）小于B组的。 B4：A组的数据分布更集中，因此他们可能操纵了数据。 AB4：各组测量的离散程度（如标准差）大致相同。 A5：A组测量了435 mm两次。 B5：A组测量的离散程度（如标准差）小于B组的。 AB5：两组都测量了441 mm、424 mm和440 mm。 AO：其他（请描述）。 BO：其他（请描述）。 ABO：其他（请描述）。 表II. DMSS探测的封闭式推理项。学生被要求选择这些陈述中与其选择“是”（各组测量一致）或“否”（各组测量不一致）的理由最相关的一项或两项。 是 否 Y1：两组都测量到了离群值。如果我们剔除离群值，两组的测量结果相似。 N1：平均值不同（433 mm和435 mm）。 Y2：两组都得到了440、433和432 mm这些值。 N2：两组测量值之间的百分比差（或百分比误差）很大。 Y3：各组测量的极差重叠。 N3：各组测量的极差重叠不够。 Y4：两组测量值之间的百分比差（或百分比误差）很小。 N4：各组的一些测量值不同。 Y5：两个平均值之差（2 mm）很小。 N5：两个平均值之差（2 mm）很大。 Y6：考虑到数据的离散程度（如标准差），两个平均值之差（2 mm）很小。 N6：两个平均值之差（2 mm）相对于各组测量的极差很大。 Y7：考虑到平均测量值的大小（433或435 mm），两个平均值之差（2 mm）很小。 N7：两个平均值之差（2 mm）与平均测量值的大小（433或435 mm）相比很大。 Y8：两个平均值之差（2 mm）相对于各组测量的极差很小。 N8：考虑到数据的离散程度（如标准差），两个平均值之差（2 mm）很大。 YO：其他（请描述） NO：其他（请描述） 我们通过识别开放式回答中表达了哪些封闭式推理项，分析了SMDS和DMSS推理部分的开放式回答答案。这一分析在第二节C中更详细地描述。本研究的数据可在参考文献[36]中获取。 2. 调查实施我们通过在康奈尔大学一门入门实验物理课程中布置作业的方式收集数据。作业在学期进行到四分之三时布置，因此该群体中的学生已经接受了与这些调查问题相关的指导。我们选择将调查作为作业布置，以获取比自愿调查更高的回复率。作业不按正确性评分，因此学生认为该作业风险较低。参加调查的413名学生被随机分为两组，大约一半学生被要求提供DMSS的开放式推理但不提供SMDS的，另一半被要求提供SMDS的开放式推理但不提供DMSS的。所有学生（两组）都被要求从封闭式问题中选择推理项，无论他们是否收到开放式推理问题。我们的数据集包含248名学生，在排除了未同意参与的学生和未满18岁的学生后。如表III所示，其中130名学生属于对SMDS提供开放式回答的组（组1），118名学生属于对DMSS提供开放式回答的组（组2）。 表III. 两个随机分配组的描述。 组1 组2 130 118 SMDS开放式回答？ 是 否 DMSS开放式回答？ 否 是 B. 封闭式解释的开发之前对PMQ的大多数实施都使用开放式问题来测量学生的推理。我们利用参考文献[33]中的封闭式选项以及最初报告PMQ的论文中的开放式编码方案[28,31,32]，开发了一套初步的封闭式推理项。我们增加了几个选项，以便提供多种点和集合推理思想[32]，并在判断问题的不同答案之间建立平行陈述。随后，我们在康奈尔大学和加州州立大学富勒顿分校进行的三轮学生访谈中迭代修订了这些陈述。在访谈中，所有学生被要求先口头解释他们的推理，然后才能进入包含封闭式推理项的下一页。学生还被问及他们对任何封闭式陈述是否有问题或评论。在每轮大约四名学生访谈后，研究团队讨论访谈内容并对封闭式推理项进行修改，在最后一轮之前达到饱和。共进行了11次访谈。 C. 开放式编码我们的目标之一是评估我们是否从封闭式问题和开放式问题中测量到不同的学生推理，因此我们开发了一个编码方案来分析开放式数据，以判断每个推理项（来自封闭式版本）是否被包含。每个封闭式选项独立考虑，因此对给定开放式回答可编码的项目数量没有限制。然而，在开放式回答中，任何明确的观点只能关联一个编码，不能多个。例如，如果学生说“两个平均值很接近”，这个单一观点将关联到一个编码；在此例中，即“两个平均值之差（2 mm）很小”[Y5]。该观点不会同时关联到编码“两组测量值之间的百分比差（或百分比误差）很小”[Y4]，因为学生回答没有明确提及百分比差或百分比误差。在明确观点可能以多种方式重叠的情况下，我们通过判断哪个编码最合适来维持每个观点一个编码的规则。例如，如果学生表达了A组数据“更集中”的观点，但没有其他信息，该回答可能与选项A1（“A组的极差小于B组的极差”）或A4（“A组测量的离散程度（如标准差）小于B组的”）一致。在这两个推理选项中，选择A4以更好地匹配学生回答，因为“更集中”更多地唤起离散程度而非极差的含义，且学生未明确表达极差是重要因素（选项A1的关键要素）。学生必须明确提及极差或数据集的上限或下限才能被编码为A1。在编码数据时，编码员无法获取学生在后续封闭式问题中选择哪些封闭式项目的信息。在编码DMSS的“其他”回答时，我们注意到一个常见的推理项未出现在任何封闭式推理项中；19%的学生表达了“A组的离散程度与B组的相似/不同”这一观点。我们将此观点识别为YO-S，并将这些回答与那些表达不同“其他”回答的分开。与所有封闭式选择相比，这一观点并未回答所提出的问题，尽管它是一个事实正确的陈述。我们用10%的数据评估了编码方案的评分者间信度。SMDS的总体Cohen's kappa为0.87，DMSS为0.86，在两个独立评分者之间，表明评分者间一致性极好[37]。然后两位评分者分配剩余数据单独编码。 D. 数据分析为了回答我们的研究问题，我们报告了被编码为写出（开放式项目）或选择（封闭式项目）每个推理项的学生百分比。我们报告这些比例的误差为二项比例的95%置信区间，使用威尔逊得分区间估计[38]。为了回答RQ1，我们比较组1和组2在每个问题上封闭式选择的情况，评估选择是否因是否在封闭式项目之前看到开放式项目而有所不同。为了回答RQ2，我们比较每组编码的开放式推理项目和选择的封闭式推理选择的比例。我们主要通过评估效应的相对大小来解释结果，即比较生成或选择的推理项频率。在附录中，我们报告双尾比例检验，以比较每组中选择或生成每个推理项的学生比例。我们将每个比例检验的结果报告为未调整的p值和经Bonferroni校正的p值，该校正考虑了每个分析中的检验数量（即进行比较的推理项数量）。我们还使用Cohen's h计算二项数据的效应量[39]。尽管我们报告了统计显著性，但我们避免依赖统计显著性来指导解释，依据文献中的建议[40–42]。 III. 结果每个判断问题都有一个由大多数学生选择的共同答案。在SMDS判断问题中，最常见的答案是“A组”（组1中120名学生和组2中105名学生选择；占所有学生的91%）。在DMSS判断问题中，最常见的答案是“是”（组1中117名学生和组2中98名学生选择；占所有学生的87%）。因此，我们将对学生推理的分析重点放在选择这两个判断问题答案的学生上。与较少见的判断选择相关的回答分析在附录中提供。在每种情况下，包含每个推理项的回答百分比相加不等于100%，因为学生可以在其回答中生成或选择多个推理项。 A. 开放式问题回答对封闭式推理的影响我们的第一个研究问题调查了首先以开放式格式写出推理对随后封闭式问题选择的影响。为此，我们比较了组1和组2学生在封闭式推理问题中选择的推理项。对于SMDS，在判断问题中选择“A组”的学生主要选择推理项A1和A4[图3(a)]，两组之间没有明显差异。比例检验的结果（表IV）显示，我们未检测到组1和组2在任一“A组”SMDS推理项选择上的差异。 图3. 这些图表比较了仅接受封闭式问题或同时接受开放式和封闭式问题的学生的封闭式推理选择。百分比来自选择最常见判断（SMDS为A，DMSS为Y）的学生比例。 表IV. 选择SMDS中“A组”的学生的比例检验结果。比例检验比较组1和组2中选择每个推理项的受访者比例。校正后的p值为Bonferroni调整值。效应量采用Cohen's d计算。推理 组别 人数 p值 校正后p值 效应量 A1：A组的范围小于B组的范围。第1组（n=99） 0.8 1 第2组（n=85） A2：A组最后一次测量值为435 mm，这是平均值。第1组（n=0） 0.13 0.8 0.28 第2组（n=2） A3：A组可能使用了比B组更好的方法。第1组（n=9） 0.12 0.8 第2组（n=3） A4：A组测量值的离散程度（例如标准差）小于B组。第1组（n=111） 0.3 1 第2组（n=93） A5：A组测量了两次435 mm。第1组（n=1） 0.3 1 0.16 第2组（n=3） AO：其他（请描述） 第1组（n=0） 0.13 0.8 0.28 第2组（n=2） 对于DMSS，在判断问题上选择“是”的学生选择了广泛的推理选项[图3(b)]。尽管两组之间存在微小差异，我们仍然未检测到第1组和第2组在任何“是”DMSS推理选项选择上的统计学差异（表V）。表V. 选择DMSS“是”的学生的比例检验结果。比例检验比较了第1组与第2组中选择每个推理选项的受访者比例。校正后的p值采用Bonferroni校正。效应量采用Cohen's d计算。推理 组别 人数 p值 校正后p值 效应量 Y1：如果剔除异常值，两组的测量结果相似。第1组（n=5） 0.04 0.4 0.42 第2组（n=0） Y2：两组都获得了440、433和432 mm的值。第1组（n=2） 0.5 1 第2组（n=3） Y3：两组的测量范围有重叠。第1组（n=32） 0.6 1 第2组（n=30） Y4：两组测量值之间的百分比差异（或百分比误差）很小。第1组（n=34） 0.7 1 第2组（n=31） Y5：两个平均值之间的差异（2 mm）很小。第1组（n=20） 0.6 1 0.08 第2组（n=14） Y6：考虑到数据的离散程度（例如标准差），两个平均值之间的差异（2 mm）很小。第1组（n=67） 0.3 1 0.15 第2组（n=49） Y7：考虑到平均测量值的大小（433或435 mm），两个平均值之间的差异（2 mm）很小。第1组（n=31） 0.08 1 第2组（n=37） Y8：相对于各组测量范围，两个平均值之间的差异（2 mm）很小。第1组（n=16） 0.9 1 0.01 第2组（n=13） 附录（A.1节）包含对做出较少见判断的学生的类似分析：SMDS的“A组和B组测量结果同样好”（第1组n=6，第2组n=6）和DMSS的“否”（第1组n=11，第2组n=9）。这些样本量太小，无法就两组之间的推理得出结论，但结果中的趋势与我们从较常见判断中观察到的无效应模式并不矛盾。我们无法分析在SMDS上做出“B组”判断的学生，因为第1组只有1名学生、第2组只有1名学生选择了该选项。总之，我们发现，如果学生在回答封闭式问题之前先被问及开放式推理，那么对封闭式问题的回答没有影响，无论是SMDS还是DMSS都是如此。B. 测量学生在封闭式与开放式问题上的推理我们的第二个研究问题探究的是，我们在封闭式问题与开放式问题上是否测量到不同的学生推理。为此，我们将在开放式问题中学生生成的推理选项（根据手工编码）与同一学生在封闭式问题中选择的推理选项进行比较。图4展示了一个可能的韦恩图，用于关联学生生成与选择的推理选项。如果封闭式问题和开放式问题以相同方式测量学生推理，我们会期望蓝色和红色圆圈完全重叠。图4. 描绘学生可能如何回答封闭式和开放式推理问题的选项的韦恩图。总体而言，学生在开放式问题上生成的推理选项少于他们在封闭式问题上选择的选项。学生对开放式问题的回答平均包含1.2个想法（标准差为0.50）。在封闭式问题上，学生选择的平均回答数为1.78（标准差为0.50）。选择（封闭式）或生成（开放式）每个推理选项的学生比例（图5，表VIII和IX）在大多数推理选项上相似，但并非全部如此。与每个学生平均生成和选择的解释数量一致，在封闭式问题上选择任一给定推理选项的学生略多于在开放式问题上生成同一选项的学生。这些总体趋势存在几个例外。图5. 图表比较了同时接受开放式和封闭式选项的学生选择（封闭式问题中）或生成（开放式问题中）的推理选项。首先，在开放式问题上生成了编码为“其他”（图5中的AO、YO和YO-S）以及“Y5”（“两个平均值之间的差异[2 mm]很小”）的学生多于在封闭式问题上选择它们的学生。其次，在封闭式问题中选择若干推理选项的学生远多于在开放式问题上生成它们的学生。例如，80%的学生在SMDS封闭式问题中选择了A1（“A组的范围小于B组的范围”），而在开放式问题中仅有20%生成该选项。我们还观察到，Y4（“两组测量值之间的百分比差异[或百分比误差]很小”）和Y7（“考虑到平均测量值的大小[433或435 mm]，两个平均值之间的差异[2 mm]很小”）在封闭式问题中被选择的频率远高于在开放式问题中被生成的频率（至少高出4倍）。为了进一步探讨这些例外，我们评估了在开放式问题中生成最常见推理选项的学生中，选择每个封闭式推理选项的比例（图6）。这部分学生代表图4中韦恩图的重叠区域。图6. 图表比较了在开放式问题中生成常见推理选项的学生在封闭式问题中选择的推理选项。在SMDS中[图6(a)]，21%的学生在开放式问题中生成了A1，其中92%的学生选择了A1，96%选择了A4。同样，83%的学生生成了A4，其中93%选择了A4，84%选择了A1。也就是说，大多数学生在开放式问题中生成了A4（但非A1），而这些学生中的大多数随后在封闭式问题中同时选择了A1和A4。在DMSS中[图6(b)]，51%的学生在开放式问题中生成了Y5，但只有24%的学生在封闭式问题中选择了Y5。在开放式问题中生成Y5的学生中选择Y3、Y4、Y6或Y7的人数多于选择Y5的人数。相比之下，34%的学生在开放式问题中生成了Y6，其中70%也在封闭式问题中选择了Y6。最后，19%的学生生成了YO-S（“A组的离散程度与B组相似/不同”），而这些学生中没有一个在封闭式问题中选择YO（其他）。与封闭式问题中的选择相比，它没有回答所提出的问题，尽管这是一个事实上正确的陈述。因此，这一差异确实代表了开放式与封闭式测量中的真实差异，因为我们的封闭式格式降低了学生提供与推理无关的辩解的可能性。IV. 讨论在本案例研究中，我们比较了PMQ[28,31,32]中两个测量学生对测量不确定度推理的问题的开放式和封闭式版本。我们发现，首先以开放式问题询问学生的推理并不会改变他们对封闭式问题的回答。我们还发现，学生在开放式和封闭式问题上的推理在多个方面被不同地测量。我们通过两个视角来探讨这些差异（下文详述）。第一个是可达性与可用性[26]；可达性是指推理选项“浮现”在学生脑海中的程度，特别是通过回忆任务来测量，而可用性是指推理选项是否代表学生头脑中的知识片段（即他们在看到书面表述时能识别为相关的想法）。第二个是框架效应[43,44]；学生带着对任务的一系列预期和信念进入，在本例中是对封闭式问题的预期和信念。然后我们扩展讨论这些结果对研究和评估的潜在影响。A. 结果讨论我们在两个不同的问题上发现，学生在封闭式问题上选择的推理选项多于他们在开放式问题上生成的推理选项。通过认知可达性的视角[26]，我们预期在某些情况下，封闭式选项提示了学生识别为相关的想法，包括可能在开放式问题中可用但未生成的想法。这一解释得到了证据的支持，即许多学生同时选择了他们生成的推理选项和未生成的其他推理选项。例如，在SMDS中，大多数学生生成了A4，尽管它在封闭式版本中仍然最常被选择，但几乎同样多的学生也选择了A1（图6）。通过可达性和可用性的视角，我们会得出结论：对于大多数学生而言，A1和A4中的想法被视为该问题可接受或相关的推理选项，尽管A4在开放式问题中是最可达的。然而，在某些情况下，学生没有选择他们生成的推理选项，而是只选择了不同的封闭式选项（例如，DMSS上的Y5以及两个问题上的“其他”，图5和图6）。DMSS推理选项Y5（“两个平均值之间的差异[2 mm]很小”）在50%的开放式回答中被生成，但在封闭式回答中仅被14%选择。在这种情况下，该推理选项可能是其他三个将两个平均值差异与参照点进行比较的封闭式选项的模糊或简化版本（Y6：“…数据的离散程度”，Y7：“…平均测量值的大小”，以及Y8：“…测量范围”）。同样，生成编码为“其他”想法的学生很少继续在封闭式选项中选择“其他”。对这些结果的一种解释是，学生在开放式格式中较可达但相对模糊的解释被封闭式格式中更具体、更可用的解释所取代。评估框架为这些结果提供了补充性解释[44]。学生可能对封闭式评估持有预期，即选择看起来“更好”的选项。在DMSS的Y5案例中，被替代选择的选项比Y5更长且更具体，这可能被视为更像专家的回答。在SMDS的A1和A4案例中，两个选项都相对较长且具体，可能都被视为更像专家的回答。在“其他”的案例中，学生可能认为列出的选项比写下自己的想法更好，期望测试编制者不会遗漏最佳想法。B. 对研究和评估的影响综合来看，我们的结果表明：(1) 在封闭式问题之前提供开放式问题，与单独回答封闭式问题相比，对学生如何回答封闭式问题没有可测量的影响；(2) 开放式和封闭式问题提供关于学生推理的不同信息。第一个发现意味着，如果最终要分析的是封闭式问题，研究者无需将开放式问题与封闭式问题配对。然而，第二个发现强化了这样一种观点：即使回答可能以相似方式计分[20,21]，开放式和封闭式问题也可能导致关于学生思维的不同结论[45]。例如，假设我们只实施了SMDS问题的开放式版本。我们可能已经声称，学生认为在评估两个数据集中哪一个更好时，离散程度远比极差更为重要，却没有意识到，当同时呈现这两个选项时，学生其实认为两者都是不错的答案。相反，如果我们只采用这个问题的封闭式回答版本，我们可能会声称学生认为离散程度和极差同等重要，却没有意识到比较极差这一想法不如比较离散程度那样易于被学生想到。同样地，如果我们只以开放式问题来施测DMSS，我们可能会得出结论，认为学生最看重原始差异以及相对于离散程度的差异，并且他们没有意识到讨论重叠范围、百分比误差或相对于平均值的差异的价值。而只采用封闭式回答版本的DMSS则会测量到，当这些解释被明确呈现时，学生往往会识别或认可相对于离散程度的差异、重叠范围、百分比误差以及相对于平均值的差异。此外，只采用封闭式回答版本还会完全遗漏这样一个观察结果：许多学生表达了另外两种想法，即各个数据点相似或离散程度相似。

这些发现凸显了将测量类型与研究问题相匹配的重要性[22–24]。如果目标是就哪些想法会首先浮现在脑海中（即可及性）做出断言，那么开放式问题可能更为合适。如果目标是确定当明确呈现某些解释时，学生是否识别或认可这些解释为相关，那么封闭式问题可能更为合适。然而，从我们的结果中浮现出的开放式问题的一个关键风险是，许多学生难以用能够被研究团队精确准确编码的方式阐明他们的推理。我们预计，在某些情况下，封闭式回答选项为学生提供了更精确的语言来表达他们识别为相关的想法，从而可能捕捉到他们的推理中那些在开放式格式下可能无法被捕获的方面。然而，封闭式问题的关键风险是，一些学生会放弃他们最初最容易接触到的想法，转而选择那些可能“看起来更好”的想法，也许是因为这些想法看起来更专业或更具数学深度。在这些情况下，学生的选择可能反映了他们在看到某个推理陈述后对其的识别或认可，而不是最初指导他们判断的推理。因此，封闭式回答的选择可能揭示的是，当被提示时，学生认为哪些解释是相关的或有说服力的，但不一定是在他们最初的推理过程中自发激活的解释。

物理教育领域的研究人员正在探索机器学习和生成式人工智能（AI）在替代或增强人工编码方面的有效性[2,3,46,47]，以便通过开放式问题来大规模测量学生的推理。在许多情况下，目标是用更开放的格式取代封闭式问题。例如，本研究是一个更大项目的一部分，在该项目中，我们正在对至少30所院校的50多个班级的学生进行一项调查，以测量他们对不确定性的推理。该调查的一个先前版本由一系列开放式问题组成，由研究团队逐一分析[27,48,49]。随着我们扩大这项调查的实施规模，我们需要更有效地测量这些想法的方法。对于某些问题，我们使用机器学习来扩展这一分析，同时保留问题的开放式形式（正如本研究中的PMQ问题也由其他研究人员做过类似处理[6]）。对于其他问题，我们希望通过将先前的开放式问题转换为封闭式问题来扩展分析。我们这项研究的结果表明，这两种选项都会导致一些信息获得，而另一些信息丢失。这一分析表明，需要在每个问题的背景下评估权衡，并确定哪些信息对于测量最为重要。

我们的结果还强调，除了有效评分之外，还有其他理由将开放式问题转换为封闭式问题。认知可及性规则会表明，在开放式任务中，受访者在提供了对他们来说最容易接触到的解释之后，不太可能再考虑一个现象的其他解释[26]。如果我们只把问题作为开放式问题来问，我们就会限制我们测量学生推理的精确度，以及我们测量学生如何思考那些不易接触的推理陈述的能力。生成式人工智能和聊天机器人的出现也意味着，带回家的开放式问题可能成为不那么准确的测量方法，尽管我们目前不知道学生查阅封闭式问题答案的程度，与请聊天机器人生成开放式问题的答案相比如何。未来的工作应明确探讨这一点。

另一方面，也有理由转向对开放式问题的自动编码，而不是使用封闭式问题来扩展测量。开放式问题将识别最易接触的推理项目以及学生能够阐明它们的程度，同时也会限制测试策略，使其仅适用于选定的所谓“更好”的项目。因此，在设计测量工具时，重要的任务是评估你是想测量学生最易接触的想法，还是更广泛的想法集合，即那些在呈现给学生时可能变得可用的想法。这个问题的答案很可能是依赖于情境的[22–24]。对于特定的问题情境，可能并不总是能够先验地知道开放式问题还是封闭式问题是更好的选择。在这种情况下，最好以开放式和封闭式两种格式对问题进行试点，以预览每种方法会测量到的结果差异。我们的结果表明，向同一批学生依次提出开放式问题和封闭式问题，并不会改变学生在封闭式问题上的选择。

在这项案例研究中，我们只评估了两个问题，且只针对一个学生群体。未来的研究应评估这些结果在不同问题情境（例如，非测量不确定性的情境）、不同学生群体以及不同封闭式问题格式下的稳健性。可能的是，在一个选择式多选题中，结果可能看起来更像开放式问题中生成的想法，因为许多学生只生成了一种想法。未来的研究还应探索响应式生成式人工智能问题的有效性，这些问题会要求学生澄清可能含糊不清或表述不充分的开放式问题推理。