测试基于嵌入的相似性和聚类方法在手写物理解答中的有效性

《Physical Review Physics Education Research》：Testing the validity of embedding-based similarity and clustering for handwritten physics solutions

　　文本嵌入日益广泛用于物理教育研究中，用以整理、比较和聚类大量书面文本。其优势显而易见：一旦学生作答被映射到向量空间中，相似性比较和聚类就变得计算成本低廉。然而，在评价情境中，关键问题不仅在于能否生成聚类，更在于嵌入空间的几何结构是否保留了与评分相关的区分。我们使用工程热力学高风险考试中的992份手写学生解题作答，转录为五种文本表征，并使用九种嵌入机制进行嵌入，对该前提进行了检验。我们将嵌入相似性及基于嵌入的层次聚类与人工评分进行比较。在所有模型、表征和聚类选择中，嵌入相似性与评分相似性呈现出一致但中等强度的关系，所得聚类在评分上有所富集但并非评分等价。使用合成数据集的实验表明，这可能是由于嵌入在物理问题解答分类中表现出类似于新手的行为；即它们的相似性几何结构受表面特征强烈影响，而非概念性、语义性结构。这些发现表明，无评分标准的转录和开箱即用、最先进的嵌入可支持物理解答的探索性组织与人在环审查，但若无针对所测评价构念的外部验证，它们并不能为评分提供无监督基础。

一、引言

A. 物理评价中的评估

问题解决是物理学习的核心，贯穿形成性评价（作业、课堂练习和低风险测验）和总结性评价（期中与期末考试）[1–8]。有意义的评价必须捕捉物理推理的特征：将概念洞察与方程、计算和理论原理相结合的数学建模[9–11]；向新颖情境的迁移[12]；多条合理求解路径[13–15]；以及图表、方程、图形和文字之间的协调[16–19]。仅关注最终数值或符号答案往往不足以了解全貌；教师必须审视解题路径以理解和支持学生的推理[14,15]。然而，在大型入门课程中，大规模提供此类以路径为中心的反馈十分困难，因为这涉及专业知识、时间和后勤方面的要求[20]。历来，专家判断不仅对评估结果至关重要，也对评估学生作业中展现的逻辑、概念和数学能力至关重要[21–25]。虽然解决方案的某些方面可由计算机评估，但多样化的方法和错误模式通常需要人工解读[15,26–34]。

手写解题路径在限时高风险考试中仍是金标准（因为数学排版会增加无关开销），对于少量此类考试，小规模课程的评分工作量尚可管理。在正式考试之外，频繁的形成性评价可通过及时、有针对性的反馈显著促进学习，但因评价劳动密集而常常未被充分利用[6,35]。尽管原则上在异步居家考试中以计算机可读格式排版数学是可能的，但远程和混合情境中的学术诚信问题又增添了更多约束[36]。由于学生的优先事项受评什么以及如何赋分的影响，能够揭示推理过程同时保持可信性和可行性的可扩展方法成为迫切需求[37]。

B. 自动化评分与人工监督

为应对工作量，物理教育长期拥有辅助教师的自动化系统传统[27,38–42]。然而，大多数平台将作答限制为选择题、排序题、数值输入或闭式代数答案。虽然此类格式在心理测量学上可能是可靠的[43–45]，但被批评为忽视了沟通与表达[46,47]，且未能捕捉学生推理的广度[20]；它们还可能激励猜测和其他非生产性行为，尤其是在允许多次尝试的情况下[48–50]。

甚至在大规模生成模型出现之前，研究者就已通过人工智能技术支持的简答题和解释拓宽了作答空间[51,52]。例如，Andes辅导系统允许在构建解决方案时具有相当大的自由度，并通过逻辑求解图、代数子系统和结构化反馈而非语言建模来解读多样化轨迹[51,53]。基于分类器的短物理作答评分方法在交互式辅导情境中也已显示出与人工评分者实践上有用的共识[52]。

最近，大型语言模型（LLMs），特别是生成式预训练变换器[54–56]，已在学术任务[57]和各类教育用途[58]中展现出强大能力。在物理教育领域，相关研究涵盖课堂整合[59–61]、研究支持[62–64]和问题求解[65–69]，包括在若干概念清单上的表现高于典型教学后平均分[70]。LLM可协助生成新问题[71]，并在自由形式学生作业评分方面展现出前景[72–76]。人在环立场仍是审慎的：置信度过滤器可将可信的AI决策向前传递，并将不确定案例交由人工评分员处理[77]。该策略在保持传统上与确定性闭式系统相关的可靠性的同时减轻了负担。

深度学习方法旨在隐式学习此类结构，但局限性依然存在。Fraknói等[78]报道，无变量算术表达式的嵌入可能受表面属性而非语义关系支配，表明核心数学原理可能未被可靠学习。一项更广泛的分析认为，多头注意力、位置编码和前馈层在不同表征层面扮演不同角色，较低层强调模式，较高层强调语义。Xin He[79]通过结合语义与结构特征强调层次结构，使用犹豫模糊集测量公式相似性[80]，并使用语言模型对文献图进行表征学习。除了独立公式外，层次编码器和解码器已被应用于数学应用题，通过依存结构丰富词元表征，并使用基于树的解码器生成解答[81]。

C. 文本嵌入

获得学生解答相似性的直接方式是让大型语言模型成对比较作答。这在原则上可能具有吸引力，因为此类模型能比固定向量表征更灵活地比较解题策略。挑战在于扩展性。在评分中，每份解答只需评估一次，因此昂贵模型调用的次数随提交解答数量线性增长。相似性分析本质上是成对的：对于一道题的n份解答，有n(n?1)/2个无序对。直接基于LLM的相似性分析因此需要O(n2)次昂贵模型调用。对于数百名学生的作答集，每道题已需要数万次成对比较，且成本随额外题目、转录条件或模型变体而迅速增长。基于嵌入的方法提供了计算上有吸引力的替代方案：每份解答处理一次产生向量表征，之后所有成对相似性可通过点积或余弦相似度等局部向量操作廉价计算。这一计算论证促使使用嵌入作为成对语义比较的可扩展近似。然而，它并未确立由此产生的相似性几何结构对评分相关解释的有效性；该有效性正是本研究所检验的实证问题。

文本嵌入近来已成为物理教育研究中有吸引力的工具，因为它们提供了一种可扩展的方式来比较大量书面作答、解释、访谈或摘要[82]。嵌入模型在大规模文本集合上训练，将相似语境中使用的文本置于高维向量空间中彼此接近的位置；一旦文本被映射到此向量空间，向量间的距离可用于检索、可视化和聚类。这使得嵌入在人工定性比较昂贵且研究者寻求识别大型语料库中重复模式[83,84]、刻画课程体系[85]或对学生作答进行编码[86,87]的情境中具有吸引力。

已有研究展示了聚类在科学教育中的若干有价值用途。Martin等[88]使用无监督聚类发现学生有机化学书面论证中的模式，随后将这些模式与理论驱动框架结合，构建评分标准并训练自动化评分模型。Gurin Schleifer等[89]将预训练语言模型嵌入所得聚类与生物学中专家定义的知识剖面进行比较，发现高质量作答比错误推理的独特形式更容易被恢复。本研究解决一个互补的有效性问题：对含方程和图丰富的物理解答的手写、无评分标准的文本表征使用开箱即用嵌入，是否能足够强地保留人工评分的正确性以证明评分相关解释的合理性。我们使用“无评分标准”意指转录模型未被提供官方解答、任何题目特定的评分方案或评分标准、题目层面的分值分配或人工评分。与Martin等[88]不同，我们不使用聚类来推导评分标准或训练分类器。相反，我们将成对相似性和聚类成员视为假设，并在五种文本表征和九种嵌入机制中将其与人工评分进行外部验证。

然而，评价情境提出了比探索性组织更强的要求。一组作答可能在嵌入空间中是连贯的，但在所测构念方面并不连贯。在评分中，相关构念不是一般语义相似性，而是评分标准相关的正确性：适当原理的选择、表征的协调、假设的有效性、推导的结构以及数值和符号细节的处理。两份解答可能在文本上相似但在关键符号、状态变量、单位或物理假设上不同；反之，两份解答可能看起来相当不同但得分相近，因为它们实现了不同的有效解题路径。

因此，我们将基于嵌入的聚类视为待检验的假设而非评分方法。遵循教育测量中的效度论证，问题不在于计算表征能否产生聚类，而在于这些聚类的预期解释和使用是否得到证据支持[90,91]。在本研究中，我们评估嵌入相似性和基于嵌入的层次聚类是否保留了手写物理解答的人工评分相似性。

D. 检验基于嵌入的相似性与聚类

本研究检验的核心前提是：嵌入空间中的邻近性可能对应人工评分相似性——理想情况下，聚类应类似图1所示。我们以两种互补方式评估该前提。首先，我们询问成对嵌入相似性是否能预测成对评分相似性：对于同一道题的每对学生解答，我们将两份作答的嵌入相似性与其人工评分之间的负绝对差进行比较。其次，我们询问由嵌入相似性形成的层次聚类是否产生评分同质的分组。在两种分析中，人工评分仅用作评估的外部参照标准，而未在转录、嵌入生成、相似性计算或聚类过程中使用。

图1. 聚类效度判据的示意图。每个点代表一道题或题目部分的一份学生解答；数字和颜色代表人工分配的参考分数。聚类在不使用评分信息的情况下形成。如果嵌入聚类支持评分相关解释，则较大聚类应包含得分相近的作答。混合得分聚类可能仍对探索性组织有用，而得分变异性大的聚类表明嵌入邻近性未保留评分相关构念。单成员聚类可能代表异常解题方法或分组失败。

此框架将聚类视为验证对象而非假定的评分方法。基于嵌入的聚类可能有助于组织作答、选择示例或支持人工审查，但评分相关解释需要证据表明聚类成员保留了评分标准相关的区分。在本研究中，所考察的基于嵌入的方法指对由非评价性、无评分标准转录生成的预训练表征进行无监督相似性分析和聚类；监督分类器、评分标准感知提示、任务特定微调以及直接LLM评分不在本测试范围内。评分标准感知或评分方案感知的LLM评分已显示出前景[92,93]，但它解决的是不同问题：模型能否应用评价标准，而非无监督嵌入几何结构是否在没有显式引导的情况下保留该标准。

E. 研究问题

本研究的主要假设是：如果嵌入是对学生问题解答的有意义的语义-概念表征，则嵌入空间中的邻近性应对应人工评分的正确性相似性。本研究解决四个研究问题：

1. 嵌入空间中的成对相似性在多大程度上预测手写物理解答的人工评分相似性？

2. 由嵌入相似性形成的层次聚类是否产生就人工评分而言同质的分组？

3. 这些结果如何取决于手写作业的文本表征、嵌入机制、相似性度量和聚类方法？

4. 所观察到的关系是否足够强以证明嵌入聚类的评分相关解释是合理的，还是这些聚类应更好地理解为需要人工验证的探索性分组？

二、研究背景

A. 机构

苏黎世联邦理工学院是一所技术大学，招收来自120多个国家的约25000名学生。国际申请人的录取竞争非常激烈，而瑞士高中毕业生则拥有开放入学资格。大多数本科课程以德语授课。遵循德语区大学的学术传统，评估主要以终结性评价为主，即在课程结束时进行高风险考试，而非学期内的持续评估。

B. 考试

我们分析了一场工程热力学的高风险考试 [75,77]，内容涵盖能量、火用、熵和焓等标准主题。考试包含四道题目（1至4题），每道题下有若干小问（a至d或a至e），而每个小问又分别依据若干评分细则条目进行评分（共85个评分细则条目）。学生使用不可擦写笔完成完整的书面解答，并被要求删去任何不希望被评分的作答内容。图2展示了该考试中学生作答的一个示例。

图2. 考试中学生作答的示例。右上角的黑框是隐去的学生姓名。

C. 样本

该研究获得了苏黎世联邦理工学院伦理委员会的批准（研究编号 2023-N-286）。在参加考试的434名学生中，252名学生提供了知情同意并被纳入研究数据集。同意书在考试前分发，并随答卷一起收回。由于在高压情境下采用自愿参与制，可能存在选择效应；例如，学生可能在时间压力下忽视表格，或在感觉到表现不佳后拒绝同意。研究方案不允许将参与状态与人口统计数据或分数联系起来，因此无法对参与者和非参与者进行直接比较。所得数据集包含3041页手写解答（平均每名学生12页），涵盖广泛的成绩范围；由于并非所有学生都作答了所有题目，数据集最终包含993份学生-题目解答（而非1008份）。

III. 方法

A. 手写内容的转录

使用GPT-5.4 [94]在五种转录条件下将扫描的手写解答转换为文本。这些条件在规范化和解释程度上有所不同，但共享第三节B中描述的非评价性、对评分细则不知情的协议。五种转录条件如下：

ASCII逐字转录（ascii）：在此条件下，模型被要求尽可能接近地将可见内容转录为纯ASCII文本。数学符号使用ASCII惯例表示，例如 、sqrt(x)、Delta T、Qdot、m_dot、h_1和p_2。图表和草图并非被忽略，而是仅通过简短的文字描述放置在页面内容中大致位置附近。此条件的原理是产生原始学生作品的最小规范化表示。它尽可能保留特殊的符号、顺序、部分作答和可见结构。因此，此条件可作为相对较低解释性的基线。然而，由于它保留了符号、布局和手写转录噪声方面大量的表面变异，对于在数学或概念上相似但以不同形式书写的解答，其聚类效果可能较差。

面向LaTeX的（latex）：在此条件下，模型被要求使用LaTeX符号转录可见的数学表达式，同时以普通文本保留周围的散文。例如，速率、下标和热力学量可渲染为 、、、 或 。指令强调应尽可能保留原样的等式，即使它们看起来非标准或不完整，模型不应简化、修复或完成推导。图表以文本形式描述，包括坐标轴、标签、状态、箭头和可见的过程路径。此条件的原理是获得比ASCII条件更标准化的数学工作表示，同时保留学生解答的符号结构。此表示可能适用于计算密集或推导密集的问题，因为相似性可能取决于所选的等式、相关的变量和进行的代换。同时，LaTeX语法可能引入对所有嵌入模型不具有语义意义的标记，而将手写转换为LaTeX可能会规范化掉一些学生特定的变异。因此，此条件测试数学标准化是否相对于更字面的转录改善聚类。

公式叙述（formula_narrative）：在此条件下，模型被要求用自然语言叙述公式、符号步骤、数值代入和最终数值结果。例如，像Q = m c_p Delta T这样的表达式将被表示为陈述，说明学生使用传热等于质量乘以定压比热乘以温度差，同时在有用处保留原始公式和可见量。叙述被限制为仅描述可见工作；不确定的推断需用“学生似乎”或“不清楚是否”等短语标注。此条件的原理是使数学内容对通用文本嵌入更易理解。学生可能使用不同的符号、顺序或中间变量写出数学等价或密切相关的表达式。公式叙述可通过将符号工作转换为语义相似的自然语言描述来减少表面的符号差异。因此，当解答之间的重要相似性在于潜在的公式选择、代入或计算策略，而非使用的确切符号时，此条件预计会有用。其潜在缺点是叙述引入了更大程度的模型介入，并可能丢失细粒度的代数或数值细节。

解答叙述（solution_narrative）：在此条件下，模型被要求对学生在解答中明显做了什么进行简明叙述。输出描述了明显的题目标签、可见的物理系统或过程、识别的量、使用的公式、代入或计算的顺序、最终结果以及任何图表或划掉的作答。模型被指示对推断的推理使用谨慎措辞，并避免使用如“正确”、“错误”、“对”或“错”等评价性术语，除非这些词语是学生明显写出的。此条件的原理是表示学生明显的解答过程，而非仅字面书写内容或孤立的公式。这可能特别适用于概念性问题、涉及多步推理的问题以及图表或方法选择对回答至关重要的问题。对于聚类，假设是遵循类似推理路径或做出类似方法选择的学生即使确切符号或数值工作不同，也可能在嵌入空间中彼此接近。风险在于此条件是五种中最具解释性的：模型可能对不完整或模糊的工作强加连贯的叙述。因此，提示强调了可见证据和明确的确定性。

混合结构化（hybrid_structured）：在此条件下，模型被要求生成带有固定章节标题的结构化表示：题目标签、可见文本、公式和符号工作、数值工作和结果、图表和草图、明显的方法、划掉或放弃的作答以及不确定性。数学表达式用ASCII符号表示。对于每个可见的图表或草图，模型被要求提供结构化描述，包括图表类型、坐标轴、状态或点、路径或过程、注释、在解答中的明显作用以及不确定性。与其他条件一样，模型被指示不要评价正确性。此条件的原理是结合前几种条件的优势。它保留字面书写内容、符号和数值工作、图表信息以及明显方法的简短非评价性描述，同时对解答施加一致的结构。此条件专门设计为面向嵌入的表示：稳定的章节标题提供共同的模式，而内容保留可能与聚类相关的特定解答信息。它可能对热力学考试特别有价值，因为与评分相关的信息可能出现在散文、等式、数值代入、物性表查询、循环草图、控制体图或热力学状态图中。因此，混合条件测试结构化的多模态文本表示是否产生比单独的字面转录或自由叙述更符合人工评分分布的聚类。

表I概述了这五种转录模式，而附录展示了原始系统提示和转录示例。

表I. 五种用于手写学生作答的文本表示概述。

| 表示 | 转换 | 数学形式 | 图表处理 | 解释程度 |
|------|------|----------|----------|--------|
| ASCII逐字转录 | 近乎字面的转录 | ASCII符号 | 简短文本描述 | 低 |
| 面向LaTeX | 符号规范化 | LaTeX符号 | 结构化文本描述 | 低-中等 |
| 公式叙述 | 叙述公式和计算 | 自然语言加保留表达式 | 在相关处叙述 | 中等 |
| 解答叙述 | 描述可见解答过程 | 叙述中选定的公式 | 整合到过程说明中 | 高 |
| 混合结构化 | 固定的多模态模式 | 章节中的ASCII表达式 | 详细的结构化描述 | 高 |

B. 转录条件的共同约束

我们刻意将表示与评价分离。若使用对评分细则或评分标准敏感的转录提示，则会在嵌入阶段之前引入评估信息，因此后续与人工分数的一致性会将模型的评分推断与嵌入空间的几何结构混为一谈。因此，模型充当的是对评分细则不知情的表示层，而非评分者：它可以规范化可见符号并描述明显的解答结构，但人工分数仅在转录、嵌入生成、相似性计算和聚类之后作为外部标准使用。这种设计隔离了更窄的问题：即开箱即用的嵌入几何结构本身是否保留与评分相关的区别。

在操作上，所有五种转录条件共享以下约束：

1. 模型仅处理可见的学生作品；不向其提供官方解答、任何针对特定题目的评分标准或评分细则、逐项分值分配或人工评分。

2. 任务被界定为转录或描述，而非评估。明确指示模型不要解答、纠正、评分或将学生作品与理想解答进行比较。

3. 应保留而非解决模糊性：难以辨认的内容应如此标注，不确定的符号或数字应标识为不确定，推断的推理应谨慎描述。

4. 图表和草图包含在文本表示中，而非丢弃。这很重要，因为热力学解答可能包含与评分相关的图形元素，如T-s图、P-v图、循环草图、过程路径、状态标签、控制体示意图以及热或功箭头。

5. 可读的划掉或放弃的作答予以保留，因为此类作答可能反映与相似性聚类相关的解答策略或误解。

比较这五种转录条件的目的，并非确定哪一种在人类意义上最忠实地再现手写内容，而是确定哪一种文本表示最能保留学生解答之间与评分相关的相似性。因此，后续的聚类分析将转录条件视为实验变量。对于每种条件，从所得文本计算嵌入，在每个问题内形成聚类，并检查每个聚类中人工评分的分布。有用的转录条件是：其聚类中的解答不仅在嵌入空间中相似，而且在人工评分者所给出的分数上相似，并且在检查时在其明显的解答策略或反复出现的错误上也相似。

C. 文本嵌入方法

我们使用九种嵌入机制为每个学生回答生成向量表示。在下文中，括号中的简称将在本文其余部分使用。

OpenAI text-embedding-3-large（oai3large）：此条件使用OpenAI的text-embedding-3-large嵌入模型作为托管的通用文本嵌入基线。该模型将每个输入回答表示映射为密集向量，旨在通过向量相似性支持文本的语义比较。在本研究中，oai3large作为强大的专有参考嵌入，未针对物理教育或此处使用的特定评分细则进行专门化 [95]。

Jina文本检索F16（jina4retF16）：此条件使用Jina Embeddings v4模型，采用F16 GGUF格式的文本检索适配器。Jina Embeddings v4是一个多模态、多语言的嵌入模型，具有任务特定的适配器。文本检索适配器针对检索型用例进行了优化，其中向量相似性旨在支持查找相关段落或文档。我们在此将其用作学生回答的嵌入机制，以测试检索优化的语义结构是否与评分相关的相似性一致 [96,97]。

Jina文本检索Q8（jina4retQ8）：与jina4retF16相同的适配器，但采用8位量化GGUF表示。包含此条件是为了测试降低精度的本地推理是否保留了在更高精度检索适配器条件下观察到的评分相关几何结构。

Jina文本检索Q4_K_M（jina4retQ4）：与jina4retF16相同的适配器，但采用更激进量化的Q4_K_M GGUF表示。它被纳入为低资源本地嵌入条件，用于测试一个经过大幅压缩的检索导向模型是否仍保留足够的语义结构，从而对聚类或分数相似性分析有用。Jina 文本匹配 F16（jina4matchF16）：此条件使用 Jina Embeddings v4 的文本匹配适配器，采用 F16 GGUF 格式。与检索适配器不同，文本匹配适配器用于对称语义相似性任务，如重复检测、聚类和匹配相同一般类型的文本。这使得它成为本研究特别相关的比较条件，因为学生回答是与其它学生回答比较，而非与外部查询文档比较 [96,97]。Jina 文本匹配 Q8（jina4matchQ8）：此条件测试 jina4matchF16 的对称文本匹配几何结构是否在中等 8 位量化下得以保留。Jina 文本匹配 Q4_K_M（jina4matchQ4）：此条件代表研究中使用的 Jina 文本匹配家族的最压缩版本，并被纳入以评估在低资源本地部署下基于嵌入的聚类和分数相似性分析的稳健性。Qwen 2.5-Math-1.5B-Instruct（qwenMath1p5B）：此条件使用指令微调的 1.5B 参数 Qwen2.5-Math 模型作为数学专业化的表示机制。与上述专用嵌入模型不同，Qwen2.5-Math-Instruct 主要是一个生成式数学推理模型，而非传统嵌入模型。因此，我们提取了最终层的隐藏状态表示，并通过非填充标记的平均池化将其转换为每个回答一个向量。所得向量在相似性计算前未进行归一化。我们纳入它以测试来自较小数学专业化指令模型的表示是否比通用文本嵌入更好地保留了物理解答中与评分相关的区分 [98]。Qwen 2.5-Math-7B-Instruct（qwenMath7B）：此条件使用指令微调的 7B 参数 Qwen2.5-Math 模型作为更大的数学专业化表示机制。与 qwenMath1p5B 一样，该模型并非作为标准句子嵌入模型纳入，而是作为测试数学专业化语言模型是否产生与评分表相关正确性更一致的响应表示几何结构。此条件还使我们能够检查 Qwen2.5-Math 家族中模型规模增加是否提高了嵌入类表示在聚类和评分相关相似性分析中的有用性 [98]。对于九种嵌入机制中的每一种，我们为五种响应表示生成了嵌入：ascii、latex、formula_narrative、solution_narrative 和 hybrid_structured。这四个问题分别包含 245、247、252 和 249 个学生回答，每个响应表示总共有 993 个学生-问题回答。因此，完整设计要求 个嵌入向量。在后续分析中，用于本地嵌入生成的图形处理单元不再可用后，我们发现一个损坏的嵌入文件，对应问题 4 的一个学生回答在某嵌入条件下。由于该向量在该阶段无法重新生成，我们全局排除了相应的学生-问题案例，而不是允许不同的嵌入机制在不同的回答集上评估。具体来说，该学生-问题从所有嵌入机制和响应表示中移除了。最终统一的分析集因此分别包含问题 1–4 的 245、247、252 和 248 个回答，即每个响应表示 992 个学生-问题回答。这在最终比较分析中产生了 个可用的嵌入向量。D. 相似性和聚类评估对于每个问题、转录条件和嵌入机制，我们构建了学生-问题回答之间的成对相似性矩阵。我们以两种互补的方式评估这些矩阵： • 首先，我们询问成对嵌入相似性是否预测成对分数相似性。 • 其次，我们询问从嵌入相似性形成的层次聚类是否在人工分配分数方面具有同质性。在两种分析中，人工分数仅作为评估的外部参考标准，未在转录、嵌入生成、相似性计算或聚类过程中使用。 1. 相似性由于每个学生回答贡献于许多无序对，成对观测在统计上不独立。因此，我们将 Pearson 和 Spearman 解释为嵌入相似性与分数相似性之间对齐的描述性效应量度量。不报告常规的对级 -值和置信区间，因为它们会错误地假设独立观测。设 表示固定问题、转录条件和嵌入机制下学生回答 的嵌入向量。我们计算了两个相似性矩阵。第一个是普通余弦相似性， (1)第二个是均值中心化余弦相似性。对于每个嵌入矩阵（固定问题、转录条件和嵌入机制），我们计算均值向量： (2)然后比较中心化向量 ： (3)包含中心化度量是因为给定问题的所有回答共享来自问题陈述和领域的实质语义上下文。均值中心化去除了回答集的共同方向，因此可能强调学生解答之间的区别，而非仅因回答相同问题而产生的相似性。相似性矩阵检查了有限条目、对称性、对角线值接近 1，以及值在余弦相似性预期的数值范围内。对于成对分数相似性分析，我们考虑了同一问题内所有无序学生回答对 ，其中两个回答都有分配的人工分数。对于每对，我们记录嵌入相似性 、人工分数 和 、绝对分数差 (4)和负绝对分数差 。如果嵌入相似性保留了评分相关的区分，则 的较高值应对应于较小的分数差，因此应对应于较大的 。因此，我们计算了 和 之间的 Pearson 和 Spearman 相关。Spearman 相关而非 Pearson 相关被视为主要成对质量度量，因为它测试嵌入相似性是否以评分相关方式排序对，而无需假设相似性值与分数差之间的线性关系。Pearson 相关作为次要度量保留。我们还按相似性分位数分箱配对，并计算每个箱内的平均和中位绝对分数差，作为诊断可视化，检查高相似性对是否具有较小的分数差。 2. 聚类对于聚类分析，每个相似性矩阵 被转换为距离矩阵： (5)然后，我们使用平均连接和完全连接执行凝聚层次聚类。这两种连接方法代表关于什么应被视为连贯组的不同假设：平均连接基于簇间平均距离合并簇，而完全连接更保守，并惩罚那些最远成员仍相距较远的簇。对于每种连接方法，我们评估了请求簇数 ，上限为 ，对于大小为 的回答集。簇分配在不使用分数信息的情况下生成。对于每个聚类，我们总结了每个簇内人工分数的分布。对于簇 ，其分数集为 ，我们计算簇大小 、平均分数 、样本分数标准差（SD） ，以及分数范围 (6)由于非常小的簇对于评分或批处理工作流具有有限的实际价值，我们将有用簇定义为至少包含五个回答的簇。因此，我们计算了有用簇覆盖率，定义为分配给有用簇的回答比例。对于有用簇中的回答，我们计算了按响应数加权的簇分数标准差均值， (7)以及相应的按响应数加权的分数范围均值， (8)我们在表 IV 和 V 中将这些量称为有用 SD 和有用范围。较低的值表示更同质的簇分数，而较高的有用簇覆盖率表示该方法将更大比例的回答集组织成非平凡组。簇数上限 和最小有用簇大小五个回答的选择允许相对细粒度的分组，同时排除不会有效减少评分或审查工作的单例或非常小的簇。对于跨问题的总体比较，一个聚类配置只有在其至少 70% 的回答被分配到有用簇且至少存在两个有用簇时，才有资格进行主要比较。在每个问题和实验条件（转录和嵌入方法）内，我们随后选择具有最低有用 SD 的 值。并列首先通过更高的有用簇覆盖率打破，然后如果两个量仍并列，则选择较小的 值，从而偏向较不碎片化的分区。这些最佳每问题行通过转录条件、嵌入机制、相似性方法和连接方法在四个问题中聚合。这产生了第四节报告的总体聚类质量摘要。 的选择仅用于回顾性评估每个条件的最佳观察聚类质量。因此，它应解释为嵌入几何的乐观诊断，而非在无参考分数情况下选择 的可部署无监督程序。总之，成对和聚类分析测试了同一有效性声明的不同方面。成对分析询问嵌入几何是否以反映人工分数相似性的方式排序响应对。聚类分析询问该几何是否可划分为足够大的组，且具有足够同质的分数，以支持与评分相关的解释。在两种情况下，强性能不仅需要嵌入空间中的可见结构，还需要该结构与人工分配分数所代表的评估构念之间的对齐。IV. 结果 A. 嵌入与分数相似性图 3 提供了嵌入相似性假设的第一个总体测试。绘制的量基于等式 (4) 中定义的绝对分数差 ，在每个问题和条件内归一化。如果嵌入空间中的接近度是评分相似性的强代理，则最高相似性百分位数的对的平均分数差应急剧下降。相反，所有转录条件都显示出一致但温和的下降趋势。最低相似性百分位数的对往往比任意对更不同，而最高相似性百分位数的对则略微更相似。然而，即使最相似的对也保留了显著的分数变异：它们的平均分数差仍接近随机对基线，而非趋近于零。这表明嵌入空间包含评分相关信息，但高嵌入相似性不应被解释为评分等价性的证据。图 3. 嵌入相似性与人工分数差之间的关系。对于每个转录条件，学生回答的无序对按嵌入相似性百分位数分箱。纵轴显示每个箱内的平均绝对分数差，通过相应问题和条件的所有对的平均绝对分数差归一化。因此，虚线 1.0 代表任意响应对的预期分数差；低于 1.0 的值表示分数比随机对更相似的对。细灰色线显示给定转录模式下的 18 种嵌入机制和相似性方法组合：九种嵌入机制与普通余弦和中心化余弦相似性交叉。每条线在四个考试问题上聚合。黑线显示这 18 种组合的中位数。表 II 和 III 总结了嵌入相似性 （使用等式 (1) 或 (3) 计算）与等式 (4) 的负分数差 之间的相关。在转录模式中，最佳 Spearman 相关范围从 0.142（字面 ASCII 转录）到 0.198（混合结构化表示）。因此，叙事和结构化表示比字面转录产生了更强的人工分数对齐，表明将符号和图解工作的一些归一化到语义明确的文本中有助于嵌入模型捕获评分相关结构。然而，相关的绝对幅度仍然很小。即使最佳条件，混合结构化转录与 qwenMath7B 表示和普通余弦相似性，仅达到加权 Spearman 相关 0.198 和加权 Pearson 相关 0.243。因此，转录设计的改进并未将嵌入相似性转变为分数等价性的可靠代理。表 II. 按转录模式的成对分数相似性相关。最佳值是在嵌入机制和相似性度量中观察到的最高值；中位数是这些相同条件下的中位数。由于每个响应出现在多个对中，这些相关被解释为描述性效应量摘要，而非基于独立观测的推断估计。粗体表示每个相关列中的最大值。转录 最佳 Spearman 中位数 Spearman 最佳 Pearson 中位数 Pearson ASCII 0.142 0.130 0.189 0.145 LaTeX 0.172 0.145 0.228 0.162 Formula narrative 0.182 0.160 0.217 0.187 Solution narrative 0.190 0.157 0.240 0.180 Hybrid structured 0.198 0.145 0.243 0.172 表 III. 成对分数相似性分析的最佳转录和嵌入组合。度量基于 122 525 个无序响应对计算，但由于每个学生响应出现在许多对中，对在统计上不独立。因此，该表以描述性而非推断性排名解释。粗体表示所示配置中最大的加权 Spearman 和 Pearson 相关。排名 转录 嵌入 相似度 加权斯皮尔曼 加权皮尔逊
1 混合结构化 qwenMath7B 余弦 0.198 0.243
2 解题叙述 qwenMath7B 余弦 0.190 0.240
3 混合结构化 qwenMath7B 中心化余弦 0.189 0.202
4 混合结构化 qwenMath1p5B 余弦 0.183 0.233
5 公式叙述 jinaRetQ8 中心化余弦 0.182 0.191
6 公式叙述 jinaRetF16 中心化余弦 0.182 0.191
7 公式叙述 jinaRetQ4 中心化余弦 0.180 0.190
8 公式叙述 oai3large 余弦 0.180 0.217
9 混合结构化 qwenMath1p5B 中心化余弦 0.178 0.192
10 公式叙述 jinaRetF16 余弦 0.177 0.212

嵌入机制的细粒度排序应谨慎解读。排名最高的10个条件占据了一个狭窄的加权斯皮尔曼相关系数带，从0.177到0.198。因此，我们不将精确排名解释为一种嵌入机制明显优于另一种的证据。相反，该表显示，最强观察到的配置都产生了类似适度的分数相似性信号。精确的相似度度量也不是决定性的：普通余弦相似度在最强Qwen条件下表现最好，而中心化余弦出现在最强Jina检索条件中。类似地，Jina检索的量化水平产生了几乎难以区分的结果。总体而言，响应表示具有最清晰的描述性效果，而高性能嵌入机制和相似度度量之间的选择只产生了微小差异。

综合来看，这些结果支持对嵌入相似度的有限解读。嵌入并非随机行为：更相似的响应配对平均而言往往具有较小的分数差异。同时，相关性太小，不足以支持更强的断言，即嵌入接近性能识别出评分等价的响应。观察到的信号足以用于探索性组织或检索，但不足以用于无监督评分。

B. 层次聚类

对于聚类，使用方程(5)将相似度转换为距离，聚类质量主要由有用SD总结，其在第III D 2节中定义。成对分析表明嵌入相似度包含一个弱但一致的分数相关信号。接下来我们询问这个信号是否足够强大以产生分数同质性的聚类。这是评分相关用途中更严格的标准：一个聚类可能对组织响应有用，仅当它包含大量响应，且聚类内的人类分数不会变化很大。

对于每个转录条件、嵌入机制、相似度度量和链接方法，我们在上述请求的聚类数范围内检查了层次聚类。我们专注于包含至少五个响应的聚类，并要求至少70%的响应落入这样的有用聚类。在满足此标准的配置中，较低的加权有用聚类分数标准差表示更大的分数同质性。

最佳聚类配置再次显示出分数富集的证据，但不是分数等价。最强条件产生的有用聚类分数标准差在几个分数点的量级，而不是接近于零的变化。因此，所得聚类仍然包含大量的评分变异。

表IV和V在有用聚类标准下总结了层次聚类结果。与成对分析相比，成对分析中最强条件使用了混合结构化转录、Qwen派生表示和普通余弦相似度，而最强聚类条件由中心化余弦相似度和完全链接主导。最佳总体配置是使用Jina检索Q8模型嵌入的公式叙述转录，采用中心化余弦相似度和完全链接。该条件将73.1%的响应放入有用聚类，并产生2.547分的加权有用聚类分数标准差。

表IV. 按转录模式汇总的聚类质量。最佳有用SD是跨嵌入机制、相似度度量和链接方法观察到的最低加权有用聚类分数标准差；最佳覆盖率是最高观察到的有用聚类覆盖率。这些最佳值不需要出现在同一配置中。作为参考，在聚类之前，未划分的问题响应集在992个学生问题响应中具有响应计数加权的平均分数标准差3.866分和响应计数加权的平均观察分数范围17.255分。有用聚类统计仅包括分配给包含至少五个响应的聚类的响应。粗体表示相应列中最小的标准差和最大的覆盖率值。

转录 最佳有用SD 中位有用SD 最佳覆盖率 中位覆盖率
ASCII 2.878 3.139 0.883 0.784
LaTeX 2.797 3.052 0.874 0.766
公式叙述 2.547 2.955 0.852 0.770
解题叙述 2.722 3.005 0.874 0.779
混合结构化 2.717 2.939 0.873 0.758

表V. 具有最低加权有用聚类分数SD的合格聚类配置，从低到高排序。有用覆盖率、有用SD和有用范围是跨问题的响应计数加权汇总。报告的 是跨四个问题选择的平均值。相应的未划分响应集基线见表IV。粗体表示所示配置中最小的加权有用聚类分数标准差。

排名 转录 嵌入 相似度 链接 有用覆盖率 有用SD 有用范围 平均选择
1 公式叙述 jinaRetQ8 中心化余弦 完全 0.731 2.547 7.142 47.000
2 公式叙述 jinaRetF16 中心化余弦 完全 0.767 2.630 7.370 44.750
3 混合结构化 jinaMatchQ4 中心化余弦 完全 0.744 2.717 7.508 46.750
4 解题叙述 jinaRetQ8 中心化余弦 完全 0.794 2.722 7.885 42.500
5 解题叙述 jinaRetQ4 中心化余弦 完全 0.737 2.730 7.880 44.500
6 公式叙述 jinaRetQ4 中心化余弦 完全 0.798 2.740 7.950 40.500
7 混合结构化 qwenMath1p5B 中心化余弦 完全 0.757 2.759 8.196 46.250
8 混合结构化 qwenMath7B 中心化余弦 完全 0.736 2.761 8.183 48.000
9 解题叙述 jinaRetF16 中心化余弦 完全 0.807 2.761 7.967 41.250
10 公式叙述 jinaRetF16 中心化余弦 平均 0.852 2.785 9.206 31.750

表IV中的转录模式总结显示了与成对分析相同的一般模式：字面转录不如更多语义中介表示有效。最佳有用聚类标准差从ASCII的2.878和LaTeX的2.797降至公式叙述的2.547、解题叙述的2.722和混合结构化的2.717。中位性能也显示相同趋势，尽管差异不大：ASCII的中位有用聚类标准差为3.139，而公式叙述为2.955，混合结构化为2.939。因此，叙述和结构化转录再次似乎比字面转录保留了一些更多评分相关结构，但改进是递增的而不是变革性的。

表V中排名靠前的聚类配置也表明，嵌入机制的精确排序不应被过度解读。前10个最佳配置占据了一个相对狭窄的加权有用聚类标准差带，从2.547到2.785。这些配置大多使用中心化余弦相似度和完全链接，表明减去公共响应集方向并使用保守链接标准有助于形成更紧密的分数富集组。然而，即使是最佳聚类也保留了大量的分数变异。顶级配置中的加权有用聚类分数范围约为7到9分，表明聚类远非分数纯净。

在某些条件下，多个 值在有用SD和有用聚类覆盖率上并列。作为敏感性检查，我们使用解释分数方差而不是更小 规则作为三级平局打破器重复了选择。这改变了720个问题级条件中的146个所选 ；在每个改变的情况下，解释方差规则选择了一个更大的 ，多一到四个聚类。然而，对于所有180个汇总配置，有用SD、有用聚类覆盖率和有用范围均未改变；仅在102个配置中平均选择的 发生变化。因此，平局打破规则影响了报告的分区程度，但不影响分数同质性、覆盖率或范围总结或实质性结论。

为了背景，在聚类之前，四个未划分的问题响应集具有响应计数加权平均分数标准差3.866分和响应计数加权平均观察范围17.255分。最佳聚类配置产生加权有用聚类标准差2.547分和加权有用聚类范围7.142分。因此，有用聚类在描述上比未划分响应集更分数同质，但它们仍然包含大量评分变异（此比较是描述性的，因为有用聚类统计仅包括73.1%的分配给包含至少五个学生问题响应的聚类的响应）。

因此，这些结果支持与成对分析相同的有限解读。基于嵌入的聚类并非简单失败：聚类是分数富集的，转录选择影响富集程度。但所得组并非分数等价。即使在合格配置中通过最小化有用SD事后选择 后，最佳聚类仍保留了大量的聚类内分数变异。

V. 讨论

A. 语义相似性

本研究测试了基于嵌入的相似性和聚类是否能支持对手动物理解答的评分相关解释。答案是混合但清晰的。嵌入空间相对于人类分数并非任意：附近的响应平均而言往往具有更相似的分数。然而，关系很弱。最强成对条件仅产生适度相关性，最强聚类条件仍包含大量聚类内分数变异。因此，嵌入几何是分数富集的，但并非分数等价的。

这种区别对于评估效度至关重要。一种表示可能对组织响应有用，即使它对于评分无效。在本研究中，嵌入似乎能够产生部分相关的学生工作邻域。这样的邻域可能有助于浏览大型响应集、选择示例、识别不寻常的解答、支持评分员校准或组织人工评审。然而，它们并不定义评分类别。证据不支持推断嵌入空间中接近的两个响应应获得相同分数，也不支持同一嵌入聚类的成员资格足以作为量规等价推理的证据。

结果还表明手写作品的文本表示很重要。字面转录保留了表面形式，但叙述和结构化表示通常与人类分数产生更强的对齐。这表明在文本中明确表达公式、图表、数值工作和明显的解题结构，可以帮助嵌入模型捕获一些评分相关信息。同时，改进是递增的。更多语义中介的转录改进了信号，但没有将问题转变为可以通过无监督嵌入相似性解决的问题。

精确的嵌入机制影响较小。不同模型系列出现在最强成对和聚类配置中，排名靠前的条件仅略有不同。类似地，普通余弦相似度和中心化余弦相似度在不同设置中都有用。中心化在最强聚类配置中尤为突出，可能是因为它去除了嵌入空间中的共同问题级方向，并强调响应之间的差异。然而，最佳成对和聚类配置不相同的事实强化了主要方法论观点：嵌入几何对于评分用途并非固有有效。必须根据预期解释进行评估。

聚类分析使这一局限性特别明显。聚类是比成对相似性更强的要求：它询问响应集是否可以划分为具有同质分数的大型组。即使在有利的事后选择 下，使用第III D 2节定义的资格和分数同质性标准评估，最佳聚类仍保留了几分的分数范围。此外，选择的 值相对较大，表明最有利的聚类将响应集划分为许多小邻域，而不是发现少数广泛的量规类别。这种模式与探索性用途一致，但与无监督评分不一致。

这些发现告诫不要将语义相似性等同于评估相似性。物理解答是多模态人工制品，结合了散文、方程、图表、假设、单位、符号、状态变量、数值替换和最终答案。小的符号差异可能产生大的评分后果，而明显不同的解题路径可能获得相似分数。嵌入捕获文本中的广泛规律性，但评分取决于由评估和量规定义的构念。在效度术语中，聚类本身不是发现；它们是需要外部证据的假设。

B. 一个玩具系统

由于我们考虑将嵌入作为定性物理教育研究或任务自动化的工具，我们需要意识到其局限性。在我们的研究中，我们发现以物理正确性衡量语义相似性可能不是嵌入的优势。为了更好地理解这一点，我们综合了一组学生问题答案，以应对提示“解释卡诺发动机所做的功”，见表VI。为了测试嵌入相似性是否反映概念相似性还是仅表面相似性，我们构建了一个关于卡诺发动机所做功的简短陈述的玩具集。五个陈述完全正确，但以不同表述表达了相同的关系。对于每个正确陈述，我们随后生成三个措辞接近的变体，每个变体保留其配对正确陈述的表面表述，同时引入三个反复出现的概念错误之一。我们将这种表面层面的分组称为“表述对”：例如，……、……、……和……共享共同的措辞模式。相比之下，我们将重复出现的概念性错误称为“缺陷族”：例如，所有(F_a)表述都共享相同的潜在误解，尽管它们的措辞方式不同。因此，成功的语义聚类会根据正确性或缺陷族将表述分组，而基于表面的聚类则会根据配对关系将表述分组。表六. 针对提示“解释卡诺热机所做的功”的一组合成学生答案。“配对”列中的空白条目表示配对不适用。ID 类别 缺陷族 配对 表述 C1 正确 无 A 卡诺热机每循环做净功 ，使用绝对温度。F_a_1 错误 摄氏度比 C1 A 卡诺热机每循环做净功 ，使用以摄氏度(deg C)为单位的温度。F_b_1 错误 倒置比 C1 A 卡诺热机每循环做净功 ，使用绝对温度。F_c_1 错误 热/功混淆 C1 A 卡诺热机每循环做净功 ，使用绝对温度。C2 正确 无 B 输出功等于从热源吸收的热量乘以卡诺效率 。F_a_2 错误 摄氏度比 C2 B 输出功等于从热源吸收的热量乘以卡诺效率 ，其中T以摄氏度(deg C)为单位。F_b_2 错误 倒置比 C2 B 输出功等于从热源吸收的热量乘以卡诺效率 。F_c_2 错误 热/功混淆 C2 B 输出功等于从热源吸收的热量乘以 。C3 正确 无 C 在一个可逆循环中，卡诺热机将比例 转化为有用功。F_a_3 错误 摄氏度比 C3 C 在一个可逆循环中，当 和 以摄氏度(deg C)为单位时，卡诺热机将比例 转化为有用功。F_b_3 错误 倒置比 C3 C 在一个可逆循环中，卡诺热机将比例 转化为有用功。F_c_3 错误 热/功混淆 C3 C 在一个可逆循环中，卡诺热机将比例 转化为有用功。C4 正确 无 D 对于固定的热源，卡诺功为 ，且可逆性给出 。F_a_4 错误 摄氏度比 C4 D 对于固定的热源，卡诺功为 ，且可逆性给出 ，使用摄氏度(deg C)数值。F_b_4 错误 倒置比 C4 D 对于固定的热源，卡诺功为 ，且可逆性给出 。F_c_4 错误 热/功混淆 C4 D 对于固定的热源，卡诺功为Q_C，且可逆性给出 。C5 正确 无 E 一个完美的可逆热机仍然不能将全部Q_H转化为功；它产生 。F_a_5 错误 摄氏度比 C5 E 一个完美的可逆热机仍然不能将全部Q_H转化为功；它产生 ，温度以摄氏度(deg C)为单位。F_b_5 错误 倒置比 C5 E 一个完美的可逆热机仍然不能将全部Q_H转化为功；它产生 。F_c_5 错误 热/功混淆 C5 E 一个完美的可逆热机仍然不能将全部Q_H转化为功；它产生 。我们使用oai3large嵌入这些表述，并根据等式(1)和(3)计算相似度矩阵。图4和图5使用力导向的Fruchterman–Reingold表示法展示了结果[99,100]。如果聚类按缺陷族进行，这些图将展示出图1中所示的聚类效果。图4. 表六中表述嵌入的余弦相似度的力导向Fruchterman–Reingold图。图5. 表六中表述嵌入的中心化余弦相似度的力导向Fruchterman–Reingold图。此布局仅使用正相似度作为吸引力边；负边用虚线表示，不作为权重使用。实际上，生成的力导向布局表明嵌入受到表面表述的强烈影响。特别地，均值中心化的余弦布局在五个配对周围形成了视觉上明显的聚类：每个正确表述都被放置在其三个措辞相似的缺陷变体附近，而不是靠近其他正确表述或具有相同缺陷族的表述。这在中心化余弦图中尤为明显，其中( )、( )和类似组按配对形成局部聚类。普通余弦图的分离度不那么清晰，但这不应被解释为更具语义性：它主要反映了共同嵌入方向的支配地位，该方向压缩了相似度并部分掩盖了相同的表面特征效应。中心化去除了这一共同背景方向，因此使残差的表述差异更加明显，但这些残差差异仍然不是预期的概念性差异。这有助于解释为什么在主研究中，当以评分作为语义相似度的代理指标来评估聚类时，普通余弦和中心化余弦没有显著差异：两种度量在很大程度上都是按目标物理含义以外的特征来组织回答，而中心化可能会强化表面特征组织这一事实，仅凭基于评分的聚类不一定能看出来。这种行为让人联想到物理教育研究中经典的专家-新手区分：普遍认为专家倾向于根据基本物理原理对问题和解题方法进行分类，而新手则倾向于根据表面特征进行分类[101–103]。在这个有限的方面，嵌入表现得像新手。相比之下，LLM在被提示评估解决方案时可以表现得像专家，因为已被证明能够将评分标准应用于学生作业，而不是仅仅依赖表面相似度[75,77]。当前的表面形式效应与Gurin Schleifer等人[89]报告的“可发现性偏差”相关但不同。他们的结果表明，质量较低的知识概况在嵌入空间中内部一致性较差，而我们的受控示例表明，紧密共享的措辞可以主导共同的概念错误结构。这两项发现都告诫人们不要假设开箱即用的嵌入邻域保留了评估所需区分的特性。由于基于LLM的转录已经是手写作业工作流程的一部分，了解评分标准的LLM评分或置信度过滤的LLM辅助可能比仅依赖无监督嵌入几何更直接。六、局限性需要注意几个局限性。数据来自某机构的一次高风险热力学期末考试，结果可能因其他物理主题、较低风险的评估、打印解决方案、概念解释或不同的评分标准结构而有所不同。人类评分被用作外部参考标准，但这些分数本身是构念的操作性表示，而非完美的真实基准。转录过程还在手写工件和嵌入之间引入了一个建模层。尽管提示禁止评分、更正和与理想解决方案比较，但叙述性和结构性转录必然涉及一些解释。不依赖评分标准不应被解释为无知识或无解释。转录模型在解析符号或生成叙述时可能会使用预训练的领域知识，即使它并未被要求判断正确性。叙述性和结构性表示的更强表现可能既反映了表面变化的减少，也反映了模型介导的解释。最后，本研究评估的是无监督嵌入相似度和聚类，而非在标注数据上训练的监督评分模型。监督分类器、基于LLM的评分器或了解评分标准的混合系统可能在评分方面表现更好。本研究解决了一个更窄的问题：仅凭嵌入几何能否证明与评分相关的解释的合理性。七、未来工作未来的工作应检查基于嵌入的邻域是否能支持特定的人机协同工作流程。例如，聚类可用于选择评分标准校准的范例，识别用于评分员审查的相似回答批次，或标记与所有主要解题模式隔离的回答。此类应用需要与自主评分不同的验证标准：问题在于嵌入是否能提高人类使用时的效率、一致性或反馈质量，而不是它们是否取代人类判断。第二个方向是针对更详细的评分标准信息评估嵌入空间。总问题分数可能会模糊解决方案的概念性、数学性、表征性和数值性成分之间的重要区别。嵌入可能与某些评分维度比对总分更紧密地对应。因此，未来的分析可以将嵌入邻域与题目级别的评分分数、错误类别或人工编码的解题策略进行比较。未来的研究应将无监督嵌入与更强的基线进行比较，包括直接LLM比较、监督分类器和检索增强的评分工作流程。成对LLM比较在大规模上计算成本高，但可能为较小的样本提供有用的基准。更广泛地说，效度证据应与预期用途相关联：探索性研究、形成性反馈、评分辅助和自主评分需要不同级别和种类的证据。嵌入方法将继续变化。虽然在与评分标准相关的物理正确性方面的相似性可能需要类似专家的推理，但未来的嵌入模型可能在捕捉概念细节和公式级正确性方面变得更好。因此，一个可能的研究方向是专门针对物理问题解决中评估相关相似度开发或微调嵌入。八、结论我们评估了不依赖评分标准的转录和开箱即用的嵌入是否能支持对手写物理解决方案进行与评分相关的解释。使用来自高风险热力学期末考试的992个学生问题回答、五种文本表示和九种嵌入机制，我们比较了成对嵌入相似度和基于嵌入的层次聚类与人工分配的分数。结果显示，嵌入几何与分数相似度之间存在一致但适度的关系。更相似的回答对往往有较小的分数差异，而基于嵌入的聚类在分数相似度方面有所富集。叙述性和结构性转录通常相对于字面转录提高了对齐度。然而，关系的绝对强度仍然较弱，即使是最好的有用聚类也保留了大量的分数变异。因此，我们得出结论：嵌入聚类应被视为供人工检查的假设，而不是评分类别——至少目前如此。嵌入可能有助于组织大量手写物理解决方案，识别相关回答的邻域，选择示例，并支持人机协同审查。它们本身并不能为无监督评分提供经过验证的基础。对于本研究的数据和方法，嵌入几何是分数富集的，但并非分数等价的。