ExamQ-Gen：基于课程材料和决策支持评分机制的“循环指导式”自包含考试题生成方法 Catalin Anghel, Emilia Pecheanu, Andreea Alexandra Anghel, Marian Viorel Craciun, Adina Cocu

《Computers》：ExamQ-Gen: Instructor-in-the-Loop Generation of Self-Contained Exam Questions from Course Materials and Decision-Support Grading Catalin Anghel, Emilia Pecheanu, Andreea Alexandra Anghel, Marian Viorel Craciun and Adina Cocu

　　摘要：为了可靠地评估大型语言模型（LLMs）在教育中的应用，需要建立能够反映考试要求、教师评分习惯以及基于阈值决策的操作后果的基准测试。本文介绍了ExamQ-Gen，这是一个包含教师参与其中的基准测试框架，它结合了两个任务：（i）LLM回答大学风格的考试题目；（ii）与教师参考标准一致的评分辅助决策。系统使用自动评分进行初步筛选和反馈；实际上，ExamQ-Gen支持教师主导的考试题目编写，并提供评分建议，而最终的成绩和及格/不及格的决定仍由教师做出。ExamQ-Gen通过利用LLM直接从讲座材料生成考试题目来构建题库，从而产生适合控制实验的题库。该基准测试设置了对比不同的考试条件，包括教师编写（HUMAN）和系统生成（PIPELINE）的题目，以评估当考试题目和答案通过不同生成流程产生时系统的鲁棒性。我们使用两个LLM“学生”（Llama3-8B-Instruct和Mistral-7B-Instruct）以及基于LLM的评分系统，在1-10分的评分范围内以及根据操作性及格政策（分数≥9分及格）的决策层面上，将自动评分结果与教师参考标准进行了比较。因此，我们的结论是基于这两个被评估的学生模型的。在HUMAN条件下，分数一致性较高，但在PIPELINE条件下显著下降，表明系统的稳定性依赖于具体条件。在及格阈值处，决策错误高度不对称，错误拒绝的情况远多于错误通过的情况，这意味着保守的评分方式看似安全，但实际上可能导致学生无法获得学分。针对严重性的分析揭示了一种高风险的失败模式——即完全正确的答案也被拒绝——并在受影响最严重的PIPELINE条件下，完全正确的答案被拒绝的比例达到了0.926（50/54），这表明存在系统性的保守倾向而非偶然的误差。总体而言，研究结果表明，仅依靠总分一致性和准确性不足以支持教师控制的考试评估，因此需要报告结合细分分数一致性、基于阈值的错误不对称性以及考虑严重性因素的评估方法。

1. 引言
大型语言模型（LLMs）正越来越多地被整合到高等教育评估流程中，它们可以生成题目、提供反馈并支持自动评分[1]。同时，最近关于自动简答题评分和AI辅助学生作业评估的研究既展示了有希望的结果，也揭示了与可靠性、透明度和与人类评分者一致性相关的问题[2]。这些发展引发了重要问题：当前的LLMs在人类评分下的真实大学考试题目表现如何，题目来源（教师编写与系统生成）对其性能有何影响，以及如何设计对这类模型具有挑战性的考试题目[3]。在本研究中，我们使用“分布变化”来表示由生成流程引起的考试题目和答案分布的系统性变化，这里通过教师编写（HUMAN）和系统生成（PIPELINE）的题目和答案之间的对比来具体化这一变化。即使课程内容和教师的目标评分标准保持不变，这种变化也会改变题目的长度、结构、表述和完整性等表面特征。我们使用“可持续问题”来指代那些在重复使用相同流程时仍会持续出现的、与部署相关的失败模式（例如，在严格及格阈值下导致学分拒绝的评分保守性）。

1.1. 背景与动机
包含简答题的书面考试仍然是许多高等教育项目总结性评估的核心组成部分，特别是在计算机和应用信息学领域，这些考试用于在时间有限的条件下考察学生的概念理解、基本定量推理和简单编程技能[1]。这类考试通常由讲师针对多个学生群体进行设计和完善，题目难度和覆盖范围的调整基于经验、观察到的学生表现和机构评分规范[4]。这种传统的校准假设只有人类考生参加考试，并且解答问题需要结合回忆、推理和解决问题的能力，这些能力无法外包给外部系统。然而，大型语言模型（LLMs）在教育技术中的快速应用挑战了这一假设。最近的系统评价显示，越来越多的LLM驱动工具支持高等教育中的自动评估、简答题评分和反馈生成，从小型试点项目发展到实际课程中的应用[1,5]。编程教育领域的案例研究报道了基于LLM的助手帮助教师审查和评分代码及开放式回答，有效地将通用模型嵌入评估流程[6,7]。同时，关于LLM和机器学习在科学解释评分方面的实证研究表明，当前模型在某些解释和推理任务上可以匹敌甚至超越人类表现，但在其他任务上仍存在系统性弱点[3]。实际上，这意味着学生可以在备考或无监督评估中越来越多地使用外部LLM来获得看似合理的考试答案，从而可能改变现有题库的有效难度和区分度。另一系列研究将LLMs作为自动评分者或评估者，比较它们与人类评分者在计算机科学、物理和健康教育等领域的评分结果[2,3,7]。这些研究通常报告在总体层面上有中等到高的评分一致性，但也揭示了个别题目的差异、对提示设计和评分标准规范的敏感性，以及在高风险环境中的上下文依赖性失败[8,9]。关于自然语言生成和LLMs的评估方法的更广泛调查认为，自动指标和基于模型的评分者可能存在偏见或不稳定，并建议尽可能基于精心设计的人类评判协议进行评估[10,11]。在教育背景下，关于可解释AI和面向教师的AI工具的研究同样表明，信任和接受度取决于透明且特定于领域的解释，这些解释使自动建议对教师来说易于理解和控制[12,13]。综上所述，这些发现表明，基于LLM的评分者最好被视为辅助工具或基准；因此，我们将ExamQ-Gen视为一个包含教师参与其中的流程：系统支持考试题目编写并提供评分建议，而教师最终决定成绩和及格/不及格。

1.2. 相关工作与研究空白
为了避免混淆相关研究，我们将相关工作围绕三个主题进行组织：将LLMs视为考试考生的先前研究、基于LLM的评分方法以及“LLM作为评分者”的方法，还有自动题目生成流程。然后，我们通过强调在操作性及格/不及格政策下的教师参与评估、明确的HUMAN与PIPELINE对比以及考虑严重性的决策分析，来说明我们的工作与每个主题的不同之处。越来越多的研究将LLMs作为高等教育中简短文本答案的自动评分者进行探讨。Schneider等人[15]评估了多个课程和语言中的基于LLM的自动评分，发现模型分数可以接近教师评分，但仍存在显著的题目级别差异以及对提示设计和评分类别的敏感性。Emirtekin[1]对49项基于LLM的自动评估研究进行了系统评价，认为这类系统可以大幅减少评分工作量，但在有效性、公平性和透明度方面仍存在重要问题，尤其是在高风险环境中。Duong等人[16]同样报告称，现成的LLMs尚未准备好取代人类考官，应作为决策辅助工具使用，其建议需要教师进行验证。在编程和STEM教育领域，Cisneros-González等人[6]开发了JorGPT，这是一个结合了多个LLM的教师辅助评分系统，用于评估本科课程中的编程作业，发现LLM提出的评分和反馈可以纳入评分流程，但在最终评分前仍需要教师进行系统审查。Jukiewicz[17]比较了多个LLM在编程作业自动评估中的表现，发现不同架构和供应商之间存在显著差异，强调了在真实课程中部署基于LLM的评分者时需要仔细选择和校准模型。这些研究表明，LLMs可以支持大规模的开放式学生作业评分，但仍存在模型评分与人类评分之间的显著差距。

另一条研究路线明确将LLMs视为考试考生。Ros-Arlanzón等人[18]评估了多个通用LLM在本科医学教育中的期末选择题考试中的表现，发现某些模型的表现达到了或超过了学生的平均水平，但不同课程和考试配置之间存在显著差异。Gaggioli等人[19]分析了基于LLM的评估的可靠性和有效性，认为在多项选择题上的高表现并不一定意味着概念理解能力强，因为模型可能利用了表面的规律性和基准测试中的人为因素。总体而言，这些结果表明，静态多项选择题（MCQ）库上的高准确率可能高估了LLMs在需要开放式推理和详细解释的更真实考试场景中的能力。LLMs还被用作考试题目生成和相关任务评估的工具。Nikolovski等人[20]对比研究了基于LLM的考试题目生成、改进和评估工具，发现编排好的LLM代理可以支持大规模的考试设计，尽管仍需要专家过滤以确保与学习目标和难度预期的一致性。Scaria等人[21]研究了不同布鲁姆技能水平下的自动教育题目生成，发现现代LLM能够生成语言正确且教育相关的题目，但在模型和领域之间的质量和难度控制上存在显著差异。Al Faraby等人[22]分析了ChatGPT-3.5在教育题目分类和生成中的应用，认为尽管它覆盖了广泛的类别，但在领域特异性、深度和难度控制方面仍存在挑战。大多数这些研究从表面有效性、主题覆盖范围和感知有用性等方面评估了生成的题目，而不是从LLM考生在人类评分下的实际难度角度进行评估。同时，LLMs越来越多地被用作评估代理或“LLM作为评分者”。Hashemi等人[23]提出了LLM-RUBRIC框架，这是一种多维的、经过校准的评估方案，其中LLM根据多个评分标准维度进行查询，并训练了一个校准模型以更好地匹配人类评分的分布，表明基于LLM的评分者对评分标准的语言和提示规范非常敏感。Liang等人[24]提出了HELM框架，用于全面评估语言模型，认为评估本质上是情境依赖和多指标的，并警告过度依赖任何单一自动指标或LLM评分者可能导致系统性的偏差和不稳定。现有工作分别独立地解决了我们研究设置中的关键组成部分。比较大型语言模型（LLM）生成的评估题目与教师编写题目的研究指出，两者在题目质量和属性上存在可测量的差异，并且一致认为在课堂或考试使用之前需要经过教师审核[25,26]。此外，关于从教学材料中生成题目的研究探索了直接从课程文档（如讲座或视频记录）中提取选择题，然后对生成的题目进行明确的质量评估[27]。最后，关于AI辅助评分的研究探讨了自动化信号如何支持人类评分决策，并表明模型生成的线索（例如注意力和信心）可能与人类判断并不完全一致，这促使在高风险的评估情境中需要人类监督[28]。尽管有这些进展，但我们的研究中仍有几个核心方面尚未得到充分探索。首先，现有的基于LLM的自动评分研究通常只考虑了教师编写的问题或现有的简答题数据集，而没有同时比较由教师编写的问题和从同一官方课程脚本自动生成的问题，这些问题由LLM回答并按照统一的人类考试标准进行评分[1,15,16,20]。其次，大多数对LLM作为考试答题者的评估依赖于选择题格式和自动评分，而不是使用由课程教师在整个书面考试中系统评分的自由文本答案[18,19]。第三，虽然关于基于LLM的评分者和全面评估的工作记录了偏见、不稳定性和模型评分与人类评分之间的持续差距，但几乎没有定量证据表明在单个课程中有多个经过教学调整的LLM会持续失败，也没有关于如何将这些题目操作化为未来考试设计中的“抗LLM”题目的方法[17,22,24]。本研究旨在通过结合来自实际应用信息学课程的教师编写题目和管道生成的题目来解决这些空白，将两个经过教学调整的学生模型（Llama3-8B-Instruct和Mistral-7B-Instruct）视为虚拟学生，在专家人类控制下对他们的所有自由文本答案进行1-10分的评分，并将那些在所有学生模型中都获得人类不及格评分的题目定义为“抗LLM”题目。这种课程级别的、与人类评分对齐的视角通过特别关注问题来源、LLM行为和专家评分在真实书面考试环境中的互动，补充了之前关于基于LLM的评估和评估框架的工作。本研究将通常分开处理的三个领域联系起来：评估大型语言模型作为考试答题者、使用LLM作为评分助手以及自动生成考试题目。该手稿没有提出新的评分架构，也没有引入新的题目生成器。相反，它提供了一种教师参与其中的、课程级别的评估方法，将这些组件在一个真实的及格/不及格政策下联系起来。通过对比教师编写的题目和管道生成的题目，并分析得分水平和政策导致的决策结果，该研究揭示了高影响力的错误判断情况，例如学分拒绝，这些情况可能在总体得分一致的情况下被掩盖。因此，我们在下面详细阐述了在真实及格/不及格政策下实现这一差距的研究设计和贡献。

1.3 研究设计与贡献
本研究旨在对大型语言模型进行课程级别的分析，这些模型被明确视为参加真实大学考试的虚拟学生。ExamQ-Gen是为教师参与其中的考试使用而设计的：题目生成管道支持基于课程材料起草独立的考试题目，而与评分相关的分析旨在为教师控制的决策政策提供信息。因此，所有高风险的结果（包括及格/不及格）都由教师授权，自动评分仅作为次要基准。我们专注于一门入门应用信息学课程（IA2），其中书面考试的主要总结性评估工具是包含简答题目的考试。考试内容被组织成两组互补的题目。HUMAN组包括从过去课程考试中选取的教师编写题目，涵盖人工智能入门、基本概率和统计、简单机器学习工作流程以及基础Python编程的概念性问题。PIPELINE组包括使用专门的ExamQ-Gen管道从官方课程脚本自动生成的题目，该管道提取PDF中的特定主题片段，提示教师LLM提出带有参考答案的简答题，并过滤掉格式错误的输出。所有题目都被重新表述为不依赖外部材料的独立风格。

部署在本地的两个经过教学调整的LLM被视为学生模型。对于HUMAN组和PIPELINE组中的每个题目，模型仅接收题目文本并生成一个简短的自由文本答案，无法访问课程脚本或教师模型的参考答案。模型一次性完成整个考试，遵循与人类学生相同的顺序和时间无关的约束，没有使用思维链提示或外部工具。这种设置旨在模拟一个真实的“LLM参加考试”的场景，其中模型必须简洁直接地回答每个题目。所有模型答案都由课程教师根据实际考试中相同的1-10分数字评分标准和及格/不及格政策进行评分。对于每对题目-模型，课程教师给出了1到10分的分数和正确的/部分正确的分类标签。根据这些判断，我们定义了一个二进制的exam_point指标，当教师评分≥9分（根据本地IA2考试政策及格）时取值为1，否则为0。除了这种人类评分外，我们还使用了一个基于较小LLM的辅助自动评分器计算分数，该评分器接收了题目、教师模型的参考答案和学生模型的答案。然而，这些自动分数仅作为次要基准；本文中的所有分析都基于人类分配的分数和exam_point值。这种设计反映了预期的部署场景，即自动评分可以用于分类或反馈，但不能替代教师判断。

在这个框架内，我们将“抗LLM”题目定义为在人类评分下所有学生模型都无法解答的题目。具体来说，如果每个LLM学生对该题目的评分都是不及格的，即所有模型的exam_point都为0，则该题目被标记为抗LLM。然后我们分析了这类题目在不同主题、认知技能和题目来源（HUMAN vs. PIPELINE）中的普遍性和特征。这使我们不仅能够考察模型的平均表现，还能了解在真实评分条件下哪些考试部分对它们来说始终具有挑战性。从教师参与其中的角度来看，这些题目为考试设计提供了实际信号：它们有助于识别被评估的学生模型未能可靠展示的概念和能力，并促使我们考虑在真实评分条件下不太容易受到通用模板式答案影响的题目类型。同时，我们将这一概念视为诊断性的而非规范性的——抗LLM本身并不意味着教学上的优越性——并且我们将其与标准的质量检查（清晰度、覆盖范围和与预期学习成果的一致性）一起解释。

本研究解决了三个指导性研究问题：
RQ1：当由课程教师在1-10分范围内评估时，本地部署的经过教学调整的LLM（Llama3-8B-Instruct和Mistral-7B-Instruct）作为虚拟学生在真实书面考试中的表现如何？
RQ2：由课程教师编写的HUMAN考试题目与从官方课程脚本自动生成的PIPELINE题目之间的模型表现有何不同？
RQ3：在人类评分下，哪些题目对两个被评估的学生模型来说始终难以解答，以及如何从主题、所需技能和来源的角度将这些题目描述为抗LLM？

我们的主要贡献可以总结如下：
- 课程级别的评估框架。我们设计并实现了一个真实的考试环境，其中本地部署的LLM作为虚拟学生参加真实大学课程的简答题考试，答案由专家讲师根据操作性的1-10分考试标准进行评分，并做出明确的及格/不及格决定。
- 双源考试题目集。我们构建并分析了由课程教师编写的HUMAN考试题目和从官方课程脚本自动生成的PIPELINE题目的配对集合，所有题目都被重新表述为适合人类和LLM考生的独立考试格式。
- 与人类评分对齐的评分和辅助自动基准。我们将所有LLM答案的专家人类评分与仅作为决策支持基准的辅助LLM评分器结合起来，并将人类评分和exam_point决定视为所有后续分析的唯一真实依据，从而使评估与真实考试实践保持一致，而不是纯粹的自动指标。
- 抗LLM题目的操作性定义和分析。我们引入了一个具体的、以考试为中心的抗LLM题目定义，即所有学生在人类评分下都无法解答的题目，并量化了它们在不同主题、所需技能和题目来源中的普遍性和特征，为未来存在强大语言模型时的考试设计提供了可操作的信号。

2. 材料与方法
本节描述了用于研究大型语言模型在来自真实大学课程的考试风格题目上的实验设置。我们首先介绍了两个考试题目数据集的构建，包括教师编写的题目和从官方课程脚本自动生成的题目。然后介绍了用于自动题目生成的ExamQ-Gen管道，以及用于获取基于LLM的答案和1-10分评分的人类对齐分数的协议。最后，我们定义了用于量化模型表现和分析哪些类型题目对LLM更难或更具抗LLM性的指标和聚合程序。

2.1 考试题目数据集
我们的实验使用了来自IA2的考试风格题目，IA2是一门计算机与信息技术学士学位课程的入门课程。IA2涵盖了人工智能入门、不确定性和概率、简单机器学习工作流程以及基础Python编程的内容。官方课程脚本作为自动题目生成的权威内容来源，而过去的书面考试提供了教师编写的题目。我们考虑了两类考试题目。HUMAN题目来自课程教师编写的过去IA2考试试卷，涵盖人工智能概念、基本概率和统计、简单机器学习工作流程以及基础Python编程的概念性问题。PIPELINE题目是从官方课程脚本使用专门的ExamQ-Gen管道自动生成的，该管道提取PDF中的特定主题片段，提示教师LLM提出带有参考答案的简答题，并过滤掉格式错误的输出。所有题目都被重新表述为不依赖外部材料的独立风格。

两个经过教学调整的LLM被部署为学生模型。对于HUMAN组和PIPELINE组中的每个题目，模型仅接收题目文本并生成一个简短的自由文本答案，无法访问课程脚本或教师模型的参考答案。模型像人类学生一样一次性完成整个考试，遵循相同的顺序和时间无关的约束，没有使用思维链提示或外部工具。这种设置旨在模拟一个真实的“LLM参加考试”的场景，其中模型必须简洁直接地回答每个题目。

所有模型答案都由课程教师根据实际考试中相同的1-10分数字评分标准和及格/不及格政策进行评分。对于每对题目-模型，课程教师给出了1到10分的分数和正确的/部分正确的分类标签。根据这些判断，我们得出了一个二进制的exam_point指标，当教师评分≥9分（根据本地IA2考试政策及格）时取值为1，否则为0。除了这种人类评分外，我们还使用了一个基于较小LLM的辅助自动评分器计算分数，该评分器接收了题目、教师模型的参考答案和学生模型的答案。然而，这些自动分数仅作为次要基准；本文中的所有分析都基于人类分配的分数和exam_point值。这种设计反映了预期的部署场景，即自动评分可以用于分类或反馈，但不能替代教师判断。

在这个框架内，我们将“抗LLM”题目定义为在人类评分下所有学生模型都无法解答的题目。具体来说，如果每个LLM学生对该题目的评分都是不及格的，即所有模型的exam_point都为0，则该题目被标记为抗LLM。然后我们分析了这类题目在不同主题、认知技能和题目来源（HUMAN vs. PIPELINE）中的普遍性和特征。这使我们不仅能够考察模型的平均表现，还能了解在真实评分条件下哪些考试部分对它们来说始终具有挑战性。从教师参与其中的角度来看，这些题目为考试设计提供了实际信号：它们有助于识别被评估的学生模型未能可靠展示的概念和能力，并促使我们考虑在真实评分条件下不太容易受到通用模板式答案影响的题目类型。同时，我们将这一概念视为诊断性的而非规范性的——抗LLM本身并不意味着教学上的优越性——并且我们将其与标准的质量检查（清晰度、覆盖范围和与预期学习成果的一致性）一起解释。

本研究解决了三个指导性研究问题：
RQ1：当由课程教师在1-10分范围内评估时，本地部署的经过教学调整的LLM（Llama3-8B-Instruct和Mistral-7B-Instruct）作为虚拟学生在真实书面考试中的表现如何？
RQ2：由课程教师编写的HUMAN考试题目与从官方课程脚本自动生成的PIPELINE题目之间的模型表现有何不同？
RQ3：在人类评分下，哪些题目对两个被评估的学生模型来说始终难以解答，以及如何从主题、所需技能和来源的角度将这些题目描述为抗LLM？

我们的主要贡献可以总结如下：
- 课程级别的评估框架。我们设计并实现了一个真实的考试环境，其中本地部署的LLM作为虚拟学生参加真实大学课程的简答题考试，答案由专家讲师根据操作性的1-10分考试标准进行评分，并做出明确的及格/不及格决定。
- 双源考试题目集。我们构建并分析了由课程教师编写的HUMAN考试题目和从官方课程脚本自动生成的PIPELINE题目的配对集合，所有题目都被重新表述为适合人类和LLM考生的独立考试格式。
- 与人类评分对齐的评分和辅助自动基准。我们将所有LLM答案的专家人类评分与仅作为决策支持基准的辅助LLM评分器结合起来，并将人类评分和exam_point决定作为所有后续分析的唯一真实依据，从而使评估与真实考试实践保持一致，而不是纯粹的自动指标。
- 抗LLM题目的操作性定义和分析。我们引入了一个具体的、以考试为中心的抗LLM题目定义，即所有学生在人类评分下都无法解答的题目，并量化了它们在不同主题、所需技能和题目来源中的普遍性和特征，为未来存在强大语言模型时的考试设计提供了可操作的信号。

2.2 自动题目生成管道
本节描述了用于研究大型语言模型在来自真实大学课程的考试风格题目上的实验设置。我们首先介绍了两个考试题目数据集的构建，包括教师编写的题目和从官方课程脚本自动生成的题目。然后介绍了用于自动题目生成的ExamQ-Gen管道，以及用于获取基于LLM的答案和1-10分评分的人类对齐分数的协议。最后，我们定义了用于量化模型表现和分析哪些类型题目对LLM更难或更具抗LLM性的指标和聚合程序。提取的文本经过轻微清洗并截断至固定的最大字符长度，以适应Llama-3.3-70B-Instruct生成器的128k令牌上下文窗口，同时保留了与主题相关的主要定义、示例和数值表格。该片段被视为仅供教师使用的背景材料：它对生成器可见，但对后来作为学生的LLM不可见。在第二步中，ExamQ-Gen构建了一个聊天风格的提示，将课程片段与生成一个考试风格的问题及其对应解决方案的指令结合起来。指令要求问题和解决方案都使用课程语言编写，完全独立，并重用片段中的具体元素，如数值、特征名称、数据集描述或代码片段。模型还被鼓励优先处理中等难度、多步骤的推理任务，而不是纯粹的定义性问题。该提示被发送到一个本地托管的、经过指令调优的Llama-3.3-70B-Instruct模型，该模型返回包含问题和解决方案的单一文本块。在最后一步中，使用提示中要求的明确标记将输出文本解析为单独的问题和解决方案字段。生成提示还要求进行内部自我检查，以确保解决方案中使用的数值和特定实体名称也出现在问题文本中。我们应用了一个简单的数值一致性检查：解决方案中的所有数值字面量都必须出现在问题文本中，任何违规情况都会被标记出来以供后续检查。每个生成的条目都存储在一个基于行的JSONL文件中，文件中包含课程代码、主题或章节标识符、问题索引、问题文本、参考解决方案以及用于构建上下文的页面范围。这些JSONL文件构成了本节后面描述的基于LLM的回答和辅助自动评分阶段所使用的PIPELINE数据集。在这里报告的实验中，我们使用了生成的70个条目的PIPELINE JSONL数据集，没有进行额外的过滤或手动后处理。ExamQ-Gen流程的主要组成部分在图1中进行了总结。图1. ExamQ-Gen流程的块图。这些步骤共同定义了ExamQ-Gen流程，并产生了我们后来用作基于LLM的回答和评分阶段的PIPELINE问题集。

2.3 基于LLM的回答和人类对齐的评分
对于HUMAN和PIPELINE数据集中的每个问题，我们通过查询两个本地部署的、经过指令调优的模型Llama3-8B-Instruct [30]和Mistral-7B-Instruct [31]来模拟两名学生。每个学生模型都被指示用与问题相同的语言回答问题，使用适合书面考试的简短自由文本风格。提示仅包含问题文本和生成适合评分的简短自由文本答案的简要指令，不允许访问课程脚本、选择题选项或任何其他额外上下文。每个问题由每个学生模型分别回答一次。学生答案是通过Ollama聊天API生成的，使用参数temperature = 0.0, top_p = 1.0, max_tokens = 512, num_ctx = 8192, 和seed = 42。生成的答案作为附加字段附加到相应的记录中，因此每个条目包含一个问题、一个参考解决方案以及由Llama和Mistral模型生成的两个答案。
为了获得与本地考试系统相同的1-10分制分数，我们使用了第二个经过指令调优的模型Qwen2.5-7B-Instruct [32]（自动评分器）作为快速决策支持工具。对于每个条目，评分器接收考试问题、参考解决方案（HUMAN条目由教师编写，PIPELINE条目由流程生成）以及一个模型生成的答案（来自Llama 3或Mistral 7B）。评分程序分别应用于每个学生模型的答案。评分指令要求模型将模型生成的答案与参考解决方案进行比较，根据语义正确性和完整性分配1到10之间的整数分数，并选择一个正确性标签{correct, partial, incorrect}。评分提示包括明确的评分标准指导（与参考解决方案的比较、数值/关键概念检查），并强制使用结构化的JSON输出，评分器以确定性方式运行（temperature = 0）。从这个标签中我们得出了一个二进制的考试指标exam_point，当标签正确时设置为1，否则设置为0。生成的评分器输出被存储在中间JSONL文件中，作为自动基线和合理性检查，但未作为我们分析中的主要评估信号。最终成绩由课程教师提供。对于每对问题-模型，教师审查了考试问题、参考解决方案和模型生成的答案，并记录了（i）与本地考试系统相同的1-10分制分数以及（ii）{correct, partial, incorrect}中的分类正确性标签。在我们的评分数据集中，这些标签对应于粗略的分数区间：不正确 → 1或3，部分正确 → 6-8，正确 → 9-10。根据课程中使用的操作通过策略，如果教师分数≥9，则将二进制考试指标exam_point设置为1，否则设置为0。这些教师分配的分数、标签和exam_point值被用作我们分析的基准真相。
表2提供了来自教师编写（HUMAN）和流程生成（PIPELINE）条目的代表性评分示例，展示了教师评分标准如何应用于正确、部分正确和错误的答案。表2. 代表性评分示例（HUMAN和PIPELINE），包括问题、参考解决方案、模型答案和教师评分；exam_point是根据本地通过规则（分数≥9）得出的。两个评分阶段以紧凑的结构化格式返回了他们的决定，指定了数值分数、正确性标签，在某些情况下还包括简短的理由。所有输出都被解析并存储在基于行的JSONL/CSV文件和Neo4j [33]图数据库中，连同原始问题、参考解决方案和相应的模型生成答案，形成了每个问题-模型对的一个评分数据集。除非另有说明，本文中的所有后续分析都基于人类评分和相关的exam_point指标，而评分器输出仅用作辅助决策支持基准。整个回答和评分过程在图2中进行了总结。图2. 基于LLM的回答和评分设置的块图，显示了学生和自动评分阶段之后生成的中间JSONL文件，以及从课程教师那里获得的最终评分数据集，并与所有问题一起存储在Neo4j中。基于LLM的回答设置、自动基线评分和课程教师的最终评分共同提供了一个统一的评分数据集，我们在下一小节中使用它来定义我们的性能指标、难度标签（简单/中等/困难）和LLM抗性问题的概念。

2.4 LLM性能和问题难度的指标与分析
从回答和评分设置中获得的评分数据集为每个问题和每个学生模型分配了一个1-10分制的数值分数和一个分类正确性标签（正确/部分正确/错误），以及一个派生的二进制考试指标exam_point，用于标记答案是否被视为正确（1）或错误（0）。在下文中，我们使用人类评分和相关的exam_point值作为我们的主要评估信号。
在数据集层面，我们分别计算了人类评分和exam_point的平均值、中位数和经验分布，针对每种问题来源（HUMAN与PIPELINE）和学生模型（Llama3-8B-Instruct与Mistral-7B-Instruct）的组合。此外，我们还报告了答案被正确、部分正确或错误评分的问题比例。这些汇总数据进一步按主题（人工智能入门、赔率和概率、朴素贝叶斯垃圾邮件过滤、基于接收式数据的线性回归和基本Python编程）进行了细分，提供了每个模型处理不同类型考试问题的难易程度的概览。除了这些总体总结外，我们还通过比较两个学生模型在条目级别的得分以及它们在给定问题上获得相同正确性标签的频率来检查它们之间的一致性。
为了获得一个不将问题难度与学生准备情况混淆的可解释的问题难度概念，课程教师根据IA2学生的预期难度和问题所需的推理步骤将每个考试条目标记为简单、中等或困难。这些标签在评分之前在问题级别分配，与后来分配给LLM答案的分数无关。我们仅使用这些标签来分层报告模型在不同难度水平上的表现。
两个学生模型的存在还使我们能够识别在人类评分方案下始终具有挑战性的问题。在Llama3-8B-Instruct和Mistral-7B-Instruct中都获得exam_point = 0的条目被视为LLM抗性问题。对于每个主题和问题来源，我们报告了这类LLM抗性条目的比例，这作为我们衡量HUMAN和PIPELINE问题集对合理能力的LLM学生抵抗力的主要定量指标。

2.5 实施细节
所有实验都在一台运行64位Windows操作系统的专用虚拟机上进行。该机器配备了AMD EPYC 9654 96核处理器（2.40 GHz）、128 GB RAM、3 TB SSD和具有48 GB VRAM的NVIDIA L40S-48Q GPU。
ExamQ-Gen问题生成流程使用Python 3.11实现，结合了HuggingFace transformers [34]和accelerate库以及bitsandbytes [35]（一个支持低精度4位权重表示的GPU量化库）进行4位量化，以及pypdf（用于从IA2课程脚本中提取文本）。对于PIPELINE问题，我们从磁盘加载了一个本地存储的、4位量化的Llama-3.3-70B-Instruct模型，使用一个辅助工具配置了分词器（如果需要的话将填充令牌设置为序列结束令牌），并将所有层映射到具有适当浮点计算类型的单个GPU上。从用户指定的课程PDF页面范围内提取最多6000个字符的上下文片段，对于每个请求的条目，我们构建了一个聊天风格的提示，使用nucleus采样生成最多512个新令牌（temperature = 0.4, top_p = 0.9），将结果解析为单个问题-解决方案对，并将其与关于章节和页面范围的元数据一起写入JSONL文件。
回答和评分阶段使用HUMAN和PIPELINE JSONL文件作为输入。Llama3-8B-Instruct和Mistral-7B-Instruct作为学生模型在本地部署，Qwen2.5-7B-Instruct作为自动评分器部署。所有三个模型都通过Ollama [36]在同一台机器上提供的轻量级API接口提供服务。对于每个问题，Python脚本向每个学生模型发出一个请求以获取简短的自由文本答案，将这些答案存储在中间JSONL文件中，然后将问题、参考解决方案和模型生成的答案提交给自动评分器。评分器输出被自动解析，如果响应格式不正确则进行少量重试，并同时写入JSONL文件和Neo4j图数据库，该数据库将问题、答案、模型和评分作为节点和关系存储。在后续步骤中，专家教师审查了每个问题-答案对，并在CSV文件中记录了最终的人类分数和exam_point标签，每个模型-问题对一个记录。配置文件指定了模型名称、解码参数、数据库连接设置和随机种子，与数据集一起存储以便复制和进一步实验。

3. 结果
本节报告了在标准化教师评分协议下对学生LLM的经验评估。结果从整体模型级别的性能和分数分布比较开始，逐步细化到隔离问题来源和其他实验因素的贡献。
3.1 学生LLM的整体性能
在标准化的教师评分协议下，对学生LLM（Llama3-8B-Instruct和Mistral-7B-Instruct）的整体性能进行了评估，评分采用操作性的1-10分制。对于每个模型，结果汇总了两种问题来源（HUMAN和PIPELINE），每个模型共有n = 150个评分答案（80个HUMAN + 70个PIPELINE）。除了数值分数外，每个评分结果还与一个二进制的考试指标（exam_point）相关联，当答案在考试中可以获得分数时，该指标设置为1，否则设置为0。为了提供分数分布的简洁统计描述，表3报告了每个模型的平均值和标准差（SD）、中位数、最小值/最大值以及四分位数范围（IQR）。IQR定义为IQR = Q3 ? Q1（第75百分位数减去第25百分位数），它捕捉了分布中间50%的跨度，补充了对极端值更敏感的标准差。在合并分析中，Mistral的平均分数（5.353）高于Llama3（3.407），反映了其在分数分布较高部分的更强表现。然而，两个模型的中位数都是1.0，表明至少有一半的回答获得了最低分数，模型之间的差异主要由高分端决定，而不是由典型的（中位数）表现决定。表3. 按学生模型划分的教师评分总结（1–10；合并了HUMAN和PIPELINE的数据）。为了超越总体统计并展示分布形状，图3展示了教师评分的箱线图，并标注了每个模型中得分为1和10的比例。在箱线图中，箱子覆盖了第一到第三四分位数，即四分位数范围，水平线标记了中位数。须状线总结了剩余的分布范围，异常值表示异常低或高的分数。评分分布高度极化，大部分分数集中在两端，而不是在1到10的范围内平滑分布。对于Mistral，150个回答中有149个获得了极端分数，其中77个得分为1，72个得分为10，只有1个中间分数为6。对于Llama3，150个回答中有135个获得了极端分数，其中104个得分为1，31个得分为10。这种接近二进制的模式表明，在这种设置下，模型很少产生应得部分分数的答案。表2提供了具有代表性的中间分数案例（例如，分数6和8）。这些箱线图合并了HUMAN和PIPELINE的项目，汇总了两种可能使模型处于不同表现状态的考试条件；因此，我们接下来按问题来源分解表现。图3. 按学生模型划分的教师评分分布（1–10），并标注了得分为1和10的比例。为了报告与我们设置中使用的及格/不及格决定相一致的考试结果，表4报告了及格率以及相应二项比例的95% Wilson置信区间。即使完整的1到10分数分布是极化的，这种决策级别的总结仍然具有信息性，因为它直接衡量了每个模型在相同人工评分政策下获得考试分数的频率。使用Wilson区间是因为它对于远离0.5的比例仍然表现良好，并且在样本量适中时提供稳定的不确定性估计。Llama3的及格率为0.240（36/150；95% CI [0.179, 0.314]），Mistral的及格率为0.480（72/150；95% CI [0.402, 0.559]），表明在相同人工评分政策下获得考试分数的可能性显著更高。值得注意的是，在这个数据集中，及格决定仅发生在高分9和10的情况下，这意味着及格率跟踪的是≥9的分数比例，而不是总体平均值。表4. 按学生模型划分的及格率（exam_point），以及95% Wilson置信区间。总体而言，合并分析表明Mistral在分数水平和考试评分分配方面都明显优于Llama3，同时也揭示了强烈的评分极化模式（许多最低分数与最高分数的大量存在）。这种全局视图激发了后续的分解，以确定观察到的差异主要是由问题来源（HUMAN vs. PIPELINE）还是其他实验因素驱动的。3.2. 按问题来源划分的表现（HUMAN vs. PIPELINE）由于考试集结合了两种质量不同的问题来源——教师编写的问题（HUMAN）和从课程脚本自动生成的问题（PIPELINE）——因此将整体模型比较按来源分解，以确定合并的表现差异是否由特定子集驱动。这种分层是必要的，因为问题来源可以改变问题的难度概况和语言形式，这反过来不仅会改变平均分数，还会改变评分分布的形状（例如，集中在最低分数还是最高分数）。为了量化每个来源内的教师评分，表5按（模型，来源）报告了1–10分数范围的描述性统计：平均值和标准差（SD）、中位数、最小值/最大值以及四分位数范围（IQR）。这里，IQR = Q3 ? Q1，即第75百分位数和第25百分位数之间的差异；它总结了中间50%的结果的跨度，在分布极端时特别具有信息性。在高度极化的评分中，IQR可能降为零（当Q1和Q3相同，通常是1或10）或变得非常大（当Q1为1且Q3为10），这两种情况都直接反映了端点集中的分布，而不是异常值。表5. 按学生模型和问题来源划分的教师评分总结（1–10）。这些总结表明了问题来源的强烈依赖性。在HUMAN问题上（每个模型80个），Llama3的平均分数高于Mistral（4.200 vs. 3.087），而两个模型的中位数保持为1.0。这种组合（平均分数较高但中位数相同）表明差异主要由分布的较高部分驱动，而不是由典型表现的微小变化驱动。一个显著的特点是HUMAN/Llama3的IQR非常大（9.0），这是因为第25百分位数位于最低分，第75百分位数达到最高分，表明在中间50%的跨度内两个端点都有大量分数。相比之下，HUMAN/Mistral的IQR = 0.0，表明尽管存在一些满分（如最高分10所示），中心质量仍然紧密集中在最低分。在PIPELINE问题上（每个模型70个），模式发生了质的变化。Mistral的平均分为7.943，中位数为10.0，使其在这个子集中接近上限，而Llama3则集中在下限附近（平均分为2.500，中位数为1.0）。两个PIPELINE组的IQR = 0.0并不意味着没有有意义的变化；相反，这意味着每个分布的大部分质量集中在单一值（Llama3为1，Mistral为10），与极端极化一致。为了使这种极化变得明确且直观（超出百分位数和平均值），图4使用箱线图可视化了相同的四个组，并标注了得分为1和10的比例。在箱线图中，箱子覆盖了Q1–Q3（IQR），中心线标记了中位数；当分布集中在单一值时，箱子可能会退化（IQR = 0），这直接反映了数据。图4. 按学生模型和问题来源划分的教师评分分布（箱线图；标注了得分为1和10的比例）。标注的极端值使总结统计背后的分布模式变得明确。在HUMAN问题上，两个模型经常获得最低分数，Llama3的58.8%的回答得分为1，Mistral的76.3%的回答得分为1；尽管如此，满分仍然很常见（Llama3为26.3%，Mistral为22.5%），这解释了为什么即使两个中位数都保持在1，平均值仍然不同。在PIPELINE问题上，结果明显分开：Llama3集中在最低分（81.4%的情况下得分为1；14.3%的情况下得分为10），而Mistral集中在最高分（77.1%的情况下得分为10；22.9%的情况下得分为10）。这构成了一个明显的来源依赖性反转，意味着学生模型的相对排名取决于问题来源，而不是在子集之间稳定。因为考试结果是由阈值决定决定的，所以也报告了及格/不及格行为。表6报告了每个（模型，来源）组的及格率（exam_point）以及相应二项比例的95% Wilson置信区间。Wilson区间为远离0.5的比例提供了稳定的不确定性估计，并避免了接近0或1时的病态行为。表6. 按学生模型和问题来源划分的及格率（exam_point；95% Wilson CI）。及格率的分解加强了分数级别的发现，并量化了它们的实际影响。在HUMAN问题上，Llama3的及格率为0.325（26/80），而Mistral的及格率为0.225（18/80），表明Llama3在教师编写的问题上具有轻微的优势。在PIPELINE问题上，差异很大且相反：Mistral的及格率为0.771（54/70），而Llama3的及格率为0.143（10/70）。重要的是，这些不是围绕共同基线的微小比例变化；它们反映了根本不同的考试评分分配机制——Mistral在PIPELINE上的接近上限表现，而Llama3在同一子集上持续接近下限的结果。为了提供这些考试级别结果的简洁视觉总结，图5展示了不同来源和模型的及格率及置信区间。图5. 按学生模型和问题来源划分的及格率（exam_point；误差条显示95% Wilson CI）。总体而言，按问题来源分解表现显示，合并结果掩盖了强烈的交互作用：两个模型在许多HUMAN问题上表现相似（Llama3保持了轻微的优势），而PIPELINE问题显著放大了差异，并明显有利于Mistral。这种来源依赖性解释了为什么合并分析中的总体比较可能会产生误导，并激发了后续分析，以确定PIPELINE问题的哪些属性与Mistral的接近上限表现和Llama3的接近下限结果相关。3.3. 课程教师与自动评分器之间的一致性为了验证自动评分流程与分析中使用的人类评分信号是否一致，我们将评分器与课程教师在连续的1–10分数和二进制的exam_point决策上进行了比较。由于数据集混合了HUMAN（教师编写）和PIPELINE（流程生成）的问题，我们总体上和按来源报告了一致性，以检测来源依赖的差异。表7总结了分数级别的一致性，报告了MAE（平均绝对误差）、RMSE（均方根误差）、平均偏差（评分器 ? 教师）和Spearman的ρ（离散分数尺度下的排名一致性）。总体而言，评分器与教师有中等程度的一致性（MAE 2.21；偏差 ?0.457；ρ 0.559），但这种总体性掩盖了强烈的来源效应：HUMAN的一致性更高（MAE 0.81；偏差 ?0.125；ρ 0.799），而PIPELINE的一致性明显较低（MAE 3.81；偏差 ?0.836；ρ 0.189）。持续的负偏差表明评分器倾向于分配比教师更低的分数，特别是在流程生成的问题上这种低估更为明显。表7. 评分器与教师之间的分数级别一致性（总体和按来源）。为了检查不一致性是否取决于分数大小和来源，图6使用Bland–Altman图可视化了分数差异，其中y轴是（评分器 ? 教师），x轴是两个分数的平均值。该图确认了总体上的小负偏差（?0.457）和广泛的一致性范围（大约[?7.674, 6.761]）。按来源着色使差异变得明显：HUMAN上的偏差接近零（?0.125），但在PIPELINE上明显更负（?0.836）。图6. 按来源分层的评分器与教师分数的Bland–Altman图（评分器 ? 教师）。除了数值分数外，评估还使用exam_point作为操作性的及格/不及格决策。在这个数据集中，教师的exam_point遵循严格的阈值规则：只有当教师分数为9–10时，exam_point = 1，否则exam_point = 0。鉴于分数分布高度极化（由最低分和最高分主导），这意味着及格率主要反映了≥9的分数比例，而不是部分分数的改进。表8通过混淆计数（TP/FP/FN/TN）和派生指标（包括FPR（假阳性率）和FNR（假阴性率）报告了及格率的一致性。总体准确率为0.78，但误差分布是不对称的：评分器产生的假阳性很少（FPR 0.03），而错过了大量教师的及格（召回率0.44；FNR 0.56）。这种不对称性再次强烈依赖于来源。在HUMAN问题上，评分器与教师非常接近（准确率0.93；召回率0.84；FNR 0.16）。在PIPELINE模式下，评分系统变得非常保守（准确率为0.61），仅正确识别了17%的教师给出的合格答案（召回率为0.17；假阴性率为0.83），这意味着许多被教师认定为合格的答案在评分系统中被标记为不合格。表8显示了评分系统与教师在合格标准上的一致性（总体及按来源划分）。图7比较了不同模型和来源下教师与评分系统的合格标准判定率，并给出了每个比例的95%威尔逊置信区间。这些差异并不均匀：在PIPELINE模式下，差异最为显著，教师的合格率仍然很高，而评分系统的合格率却明显较低，且置信区间也相差较大，表明存在实质性分歧而非抽样误差。总体而言，这些结果表明评分系统在人类评分任务上的表现与教师相当，但在PIPELINE模式下，在分数和合格/不合格判定上存在显著差异，评分系统倾向于错误地将合格答案判定为不合格。

3.4. 通过模型和问题来源诊断教师与自动评分系统之间的分歧
这项分析通过将结果分层到四个模型×来源组（人类评分 vs. PIPELINE；Llama3 vs. Mistral）来定位教师与自动评分系统之间分歧的集中点。我们在两个层面上量化了分歧：一是1-10分制下的分数差异，使用Δscore = (评分系统分数 ? 教师分数)；二是二元考试结果（合格/不合格）的判定差异。对于分数差异，我们报告了幅度（MAE、RMSE）和方向（平均偏差），以及完全匹配的频率（Δscore = 0）和较大差异的频率（|Δscore| ≥ 3）。对于合格/不合格的比较，我们关注假阴性率（FNR，即教师判定的合格答案中被错误判定为不合格的比例）和假阳性率（FPR，即教师判定的不合格答案中被错误判定为合格的比例），因为这些指标直接反映了评分系统是过于保守还是过于宽松。表9报告了不同模型和来源组下教师与评分系统在合格标准上的一致性。总体而言，这些结果表明评分系统在人类评分任务上的表现与教师相当，但在PIPELINE模式下，在分数和合格/不合格判定上存在显著差异。

3.5. 自动评分系统在不同实验条件下的稳定性和偏差
通过比较教师评分与自动评分系统在分数层面和合格/不合格判定层面的一致性，来检验自动评分系统的稳定性。我们量化了1-10分制下的容忍度不变一致性以及方向性偏差，并通过关注教师完美答案（分数=10）的判定错误严重程度来评估其对考试结果的影响，包括对教师完美答案的评分拒绝情况。

3.5.1. 不同实验条件下评分系统与教师在分数上的一致性
首先，我们独立于任何合格标准，评估了评分系统与教师在完整1-10分制下的分数一致性。这项分析旨在了解自动评分系统是否给出的分数与教师的分数接近，以及任何剩余的分歧是否具有统一的方向（系统性低估或高估）。对于每个回答??，我们计算了符号差异Δ??=???????????????????????????????????????????????????。从这些逐项差异中，我们在每个模型×来源组（人类评分 vs. PIPELINE；Llama3 vs. Mistral）内报告了两个互补的总结指标：一是平均绝对误差（MAE），????????=1?????∑??=1|Δ??|，它衡量了分数点的典型绝对偏差，不考虑方向；二是符号偏差，???????????=1?????∑??=1Δ??，它表明评分系统是否系统性地给出比教师更低的或更高的分数。为了量化分歧的幅度，我们还通过重新抽样每个组内的项目来报告95%的自助法置信区间。在当前设置中，平均面板大小为1，因为每个项目只使用一个自动评分系统的分数。

表11按组报告了这些容忍度不变的一致性统计结果。在人类评分场景下，两种模型的情况都相当一致：人类评分/Llama3组中有82.5%的分数完全匹配，人类评分/Mistral组中有76.2%的分数完全匹配，而较大差异较为罕见（分别为11.2%和8.8%）。在人类评分场景下，不同模型之间分歧的方向略有不同：人类评分/Llama3组表现出轻微的低估（偏差?0.750），而人类评分/Mistral组表现出轻微的高估（偏差+0.500）。相比之下，PIPELINE引入了大的且系统性的偏差，这种偏差强烈依赖于模型。对于PIPELINE/Llama3组，评分系统倾向于比教师给出更高的分数（偏差+1.886），较大差异变得常见（42.9%）；对于PIPELINE/Mistral组，评分系统表现出严重的低估（偏差?3.557），且较大差异非常频繁（82.9%）。总体而言，表9表明在PIPELINE模式下，分歧并不均匀增加；它们变得具有方向性和模型特异性。表9显示了自动评分系统与教师在不同模型×来源下的分歧情况（Δscore = 评分系统分数 ? 教师分数）。分数差异的分布如图8所示。两个人类评分组都紧密围绕Δscore = 0，分歧主要表现为孤立的异常值。相比之下，PIPELINE组的分布明显分开：PIPELINE/Llama3组的评分系统分数高于教师分数，而PIPELINE/Mistral组的评分系统分数低于教师分数。PIPELINE/Mistral组还显示出明显的负向偏差，这与频繁的较大差异和普遍的低估一致。图8显示了不同模型×来源下的分数差异箱形图（Δscore = 自动评分系统分数 ? 教师分数）。图9总结了决策层面的分歧，报告了FNR和FPR及其95%威尔逊置信区间。在所有四个组中，分歧主要由假不合格情况主导，而非假合格情况：FPR接近零或较低（0.000–0.065），而FNR在不同条件下变化较大。最大的分歧出现在PIPELINE/Mistral组，评分系统非常保守（FNR = 0.907，FPR = 0.000），表明评分系统很少识别出教师的合格答案。PIPELINE/Llama3组也表现出较高的保守性（FNR = 0.400），但程度较轻，而人类评分组（特别是人类评分/Mistral组）的校准相对较好（FNR = 0.056）。表9显示了不同模型×来源下的合格标准分歧率（FNR和FPR）及其95%威尔逊置信区间。表10报告了潜在的混淆计数和衍生的分类指标；PIPELINE/Mistral组相对于教师（真实情况）表现出极端的保守性：大型语言模型（LLM）评分系统没有产生假合格情况（FP = 0；精确度 = 1.00），但错过了大多数教师的合格答案（TP = 5 vs. FN = 49），导致召回率非常低（0.093）和F1分数较低（0.169）。PIPELINE/Llama3组更为平衡（TP = 6，FN = 4，FP = 2），召回率适中（0.600），假合格率较低（FPR = 0.033）。人类评分组显示出较高的整体准确率（0.925–0.938）和更强的召回率。

4. 讨论
结果表明，自动评分系统的性能需要在两个层面上进行解释：1-10分制上的一致性和阈值判定带来的下游后果。虽然平均而言，分数层面的差异可能较小，但小的系统偏差在教师的合格标准下可能会转化为较大的考试相关风险，尤其是在人类评分和PIPELINE评分之间条件变化时。这些模式表明，在评估基于大型语言模型的评分系统的适用性时，应优先考虑决策层面的错误不对称性和严重性，而不仅仅是总体分数一致性。

4.1. 解释一致性：分数层面的相似性与阈值风险
在教育环境中，自动评分系统的性能不能仅用“一致性”这一概念来衡量，因为相同的分数差异根据分数的使用方式可能会产生截然不同的操作后果。当分数被用作连续信号（例如，用于形成性反馈）时，如果保留了排名和广泛的性能区间，适度的偏差可能是可以接受的。相比之下，当分数被映射为离散的结果——最重要的是，及格/不及格——小的系统偏差可能会产生重大影响，因为一个固定的阈值将所有结果压缩为二元决策，并将错误成本集中在边界附近。这种阈值效应在校准和公平性之间创造了内在的耦合。在1-10的评分标准上稍微保守的评分者可能在分数水平指标下看起来仍然稳定，但在及格标准严格时，它可能会不成比例地频繁拒绝给予学分。在这种情况下，总体一致性统计可能会掩盖一种有害的不对称性：低水平的误判及格可能与高水平的误判不及格共存。从操作上讲，这两种错误类型是不可互换的。误判及格可以被视为标准风险，而误判不及格则直接导致合法及格的学分被拒绝；在许多教学环境中，后者会带来更高的公平性和信任成本。因此，决策水平指标与分数水平的一致性度量具有不同的目的。它们揭示了系统的错误是否平衡或偏斜，以及其性能是否取决于被评估群体中的及格/不及格的基本比率。仅凭准确性可能会产生误导：如果许多情况确实是不合格，那么一个模型可以通过频繁预测“不合格”来达到可接受的准确性，但仍然会在教师认为合格的情况下产生不可接受的误判不及格率。对于考试应用来说，相关的问题不仅仅是“分数有多接近？”而是“系统在及格边界处改变教师决定的频率是多少，以及改变的方向是什么？”

除了频率之外，决策错误的严重性也很重要。阈值翻转可能源于真正处于边界的情况（例如，教师的分数恰好在阈值上），或者源于教师判断明确正确的情况。这两种失败模式有不同的解释和补救策略。边界翻转可能反映了围绕截止点的不可避免的主观性或噪声，而拒绝教师认为完全正确的答案则表明校准不匹配或存在系统性的评分偏差。区分这些情况可以明确保守评分仅仅是“在边界附近谨慎”还是扩展到了明显正确的工作上，从而代表了更严重的部署风险。最后，这种解释必须基于实验设置。HUMAN和PIPELINE来源之间的观察到的差异表明，稳定性不仅是评分者的属性，也是它所面对的响应分布的属性。在一个来源条件下表现可接受的评分者可能在另一个条件下出现校准错误，将小的分数水平偏差转化为在及格阈值处的重大决策影响。因此，接下来的讨论强调了在条件变化下的决策水平不对称性和严重性，因为这些特征决定了自动评分在高风险教育应用中的操作可靠性。

4.2 条件效应：HUMAN vs. PIPELINE 作为鲁棒性压力测试
HUMAN和PIPELINE条件之间的对比是对自动评分的一种鲁棒性压力测试，因为它探究了评分者在答案分布和呈现方式变化时的行为是否稳定。即使评分标准和教师标准保持不变，观察到的性能变化也表明自动评分者对响应池的属性敏感，而这些属性并不直接与内容的正确性相关。实际上，这意味着在一种类型的学生响应上测量的“良好性能”不会自动转移到另一种类型上，验证必须明确涵盖系统在部署中将面临的答案类型。几种机制可以在不改变教师基本标准的情况下合理地导致这种条件依赖性。PIPELINE的答案可能在长度、结构、措辞、完整性信号或与正确性不完全相关的风格标记上与HUMAN的答案不同。依赖这些线索的评分者（无论是隐含的还是明确的）在线索分布发生变化时可能会系统性地变得保守或宽松。重要的是，如果评估仅关注平均分数水平的一致性，这种变化可能难以检测到，因为在一种情况下相同的平均错误可能是操作上无害的，但在应用阈值后可能在另一种情况下是有害的。决策水平的结果表明，在PIPELINE下主要的失败模式不是误判及格的增加，而是误判不及格的显著增加，这与在分布变化下的保守评分政策一致。这种模式在考试环境中尤其令人担忧，因为它将校准偏差转化为学分拒绝。在这种制度下，评分者可能在很少授予不应得的及格的情况下看起来“安全”，但同时可能会大规模地拒绝合法及格，从而违反公平性预期。严重性分析通过显示这种变化不仅限于边界情况来加强这一解释：在最受影响的情况下，评分者甚至会拒绝教师认为完全正确的答案，表明这种不对齐不太可能仅由边界噪声解释。

从方法论的角度来看，这些条件效应意味着HUMAN/PIPELINE的区分不应被视为一个偶然的实验细节。它体现了一个现实的部署问题：评分者通常是在经过筛选或同质的数据集上进行评估的，但实际部署时面对的是由不同的生成过程、学生写作风格或工具中介的工作流程塑造的异质响应分布。因此，一个鲁棒的评分者应该在这种条件变化下进行评估，报告的性能应该明确观察到的错误是稳定的还是依赖于条件的。从这个意义上说，HUMAN vs. PIPELINE提供了一个可解释的压力轴，揭示了评分者是否具有通用性，或者它是否需要在及格阈值处进行特定条件的校准才能保持可靠性。

4.3 保守评分和及格阈值处的错误不对称性
从决策水平分析中浮现的一个核心主题是教师及格标准下误判及格和误判不及格之间的不对称性。在许多教育环境中，保守评分看起来很有吸引力，因为它优先避免误判及格——即减少了不充分答案被错误授予学分的机会。然而，当及格阈值是操作性的（分数≥9即为及格）时，保守的偏见不仅仅是“谨慎行事”；它将错误集中在误判不及格上，这直接转化为合法及格的学分拒绝。这创造了一个公平性与风险之间的权衡，仅凭准确性无法评估，而必须通过方向性错误率来考察。错误不对称性很重要，因为这两种决策错误有不同的后果和不同的容忍度。从标准角度来看，小的误判及格率可能是可以接受的，但大的误判不及格率会损害信任，并且当它影响到明显正确的回答而不是边界情况时，对学生和教师来说很难解释。在阈值评分制度下，即使1-10评分标准上的轻微向下偏差，如果许多真实及格集中在截止点附近，或者评分者的校准在条件变化时发生偏移，也可能产生不成比例的误判不及格数量。这解释了为什么分数水平的一致性与严重的决策水平伤害可以共存：在整个分数范围内平均来看看似小的系统偏差，在单一边界处评估时就会变得重要。严重性分析进一步强调了这一点，表明这种变化不仅限于边界情况：在最受影响的情况下，评分者甚至会拒绝教师认为完全正确的答案，表明这种不对齐不太可能仅由边界噪声解释。

从方法论的角度来看，这些条件效应意味着HUMAN/PIPELINE的区分不应被视为一个偶然的实验细节。它体现了一个现实的部署问题：评分者通常是在经过筛选或同质的数据集上进行评估的，但实际部署时面对的是由不同生成过程、学生写作风格或工具中介的工作流程塑造的异质响应分布。因此，一个鲁棒的评分者应该在这种条件变化下进行评估，报告的性能应该明确观察到的错误是稳定的还是依赖于条件的。在这个意义上，HUMAN vs. PIPELINE提供了一个可解释的压力轴，揭示了评分者是否具有通用性，或者它是否需要在及格阈值处进行特定条件的校准才能保持可靠性。

4.3 保守评分和及格阈值处的错误不对称性
从决策水平分析中浮现的一个核心主题是教师及格标准下误判及格和误判不及格之间的不对称性。在许多教育环境中，保守评分看起来很有吸引力，因为它优先避免误判及格——即减少了不充分答案被错误授予学分的机会。然而，当及格阈值是操作性的（分数≥9即为及格）时，保守的偏见不仅仅是“谨慎行事”；它将错误集中在误判不及格上，这直接转化为合法及格的学分拒绝。这创造了一个公平性与风险之间的权衡，仅凭准确性无法评估，而必须通过方向性错误率来考察。错误不对称性很重要，因为这两种决策错误有不同的后果和不同的容忍度。从标准角度来看，小的误判及格率可能是可以接受的，但大的误判不及格率会损害信任，并且当它影响到明显正确的回答而不是边界情况时，对学生和教师来说很难解释。在阈值评分制度下，即使1-10评分标准上的轻微向下偏差，如果许多真实及格集中在截止点附近，或者评分者的校准在条件变化时发生偏移，也可能产生不成比例的误判不及格数量。这解释了为什么分数水平的一致性与严重的决策水平伤害可以共存：在整个分数范围内平均来看看似小的系统偏差，在单一边界处评估时就会变得重要。严重性视角进一步强调了并非所有的误判不及格都是等同的。边界翻转（例如，教师的分数恰好在阈值上）通常可以解释为围绕硬性截止点的噪声或主观性，缓解措施可能集中在澄清评分标准或引入对接近阈值情况的申诉/审查流程上。相比之下，对于教师认为完全正确的答案发生的误判不及格表明了更深层次的不对齐：评分者不仅在边界附近不确定，而是在某些条件下系统性地低估了正确性。这在操作上是最糟糕的情况，因为仅通过小的阈值调整无法解决；它表明评分者的评分功能（或其校准）在不同条件下发生了质的变化。这些观察结果表明，在严格的及格阈值下部署自动评分需要明确的保护措施来防止不对称的伤害。至少，评估应该报告误判及格和误判不及格的行为，并将它们视为独立的目标，而不是将它们合并为一个总体分数。更重要的是，当观察到保守行为时——尤其是在分布变化的情况下——其可接受性应该根据被拒绝学分的严重性来判断。在考试环境中，一个很少授予不应得及格但经常拒绝合法及格的保守评分者可能在没有额外校准、人工介入的高严重性情况审查或政策限制的情况下是不合适的。

4.4 基于LLM的教育评估的方法论含义
这些结果为如何评估和报告基于LLM的评分者在教育环境中的表现提出了几个方法论含义。首先，分数水平的一致性和决策水平的可靠性应该被视为互补的评估目标，而不是可互换的。仅报告连续分数指标（例如，平均错误、相关性）可能会掩盖阈值后出现的操作失败模式，而仅报告及格/不及格指标可能会隐藏对排名、反馈或超出单一截止点的成绩边界可能有重要影响的系统分数偏差。因此，完整的评估需要这两种视角，明确关注从1-10评分标准转移到阈值结果时结论的变化。其次，决策水平评估应该超越总体准确性，包括方向性错误率及其不确定性。即使评分者采取了非常保守的政策，拒绝了许多合法及格，准确性也可能很高。方向性错误率——误判及格和误判不及格行为——直接量化了相关风险，而置信区间可以防止过度解读小样本波动，并使条件比较更加合理。实际上，这意味着评估报告应该将FPR和FNR视为一级指标，而不仅仅是次要的诊断工具。第三，当自动评分用于高风险用途时，应该纳入对严重性的考虑。仅汇总误判不及格率无法区分良性的边界噪声和对明显正确工作的严重学分拒绝。分解高严重性层次——例如教师认为完全正确的答案或高信心评分标准满意度——可以揭示错误是否集中在阈值处或扩展到明确的情况。这种区分对于解释和缓解都很重要：边界翻转可能通过接近截止点的审查政策来解决，而严重的遗漏表明需要重新校准、评分标准对齐或更改评分者的推理提示和评分限制。第四，评估设计中应该明确对条件变化的鲁棒性。HUMAN/PIPELINE的对比表明，即使教学目标保持不变，自动评分者在响应分布变化时也会改变行为。因此，基于单一同质答案池评估评分者的基准可能会高估部署的可靠性。方法论上，这表明教育评分评估应该包括故意的压力测试，这些测试改变响应来源、风格和结构，并应该按这些因素分解报告性能，以避免在总体平均值中隐藏最坏的情况。最后，这些发现支持了如何操作化基于LLM的评估的“评分质量”：适用性不仅应该通过平均一致性来判断，还应该通过预期决策政策下的风险概况来判断。当评分输出符合严格的及格标准时，评估应该优先考虑阈值校准、方向性决策错误和严重性——因为这些维度决定了自动评分者是否作为考试流程中可信赖的组成部分。

4.5 限制
在解释这些发现时，应考虑几个限制。首先，自动评分配置实际上对应于单一评分者设置（小组规模=1），这意味着由于评分者的随机性或评分者之间的分歧导致的变异性没有被平均。虽然这反映了一个现实的低成本部署场景，但它可能相对于汇总多个独立评分判断的设计夸大了不稳定性。其次，决策分析与特定的操作政策相关：对教师和自动评分应用相同的固定及格阈值（分数≥9即为及格）。这种选择适用于目标考试环境，但不同的课程或评分方案可能使用不同的截止点、多级成绩区间或曲线政策。因此，报告的决策水平风险——尤其是在接近阈值的行为——应该被视为政策条件下的，而不是评分者的普遍属性。第三，教师认为完全正确的案例数量在模型×来源组之间差异很大，导致对严重性估计的统计支持不均衡。特别是，一些条件包含相对较少的教师认为完全正确的观察，这会产生较宽的置信区间，并限制了跨条件比较的精度。相反，支持较多的条件会产生更紧的区间，因此对系统效应的估计更加可靠。第四，分析仅限于本研究中使用的实验条件和答案池（一个课程（IA2）和一个教师参考，HUMAN vs. PIPELINE，以及所检查的模型组）。这些条件能够捕捉到有意义的分布变化，但它们并不能涵盖实际教育应用中遇到的所有多样性。在实际情况中，学生的写作质量、提示的表述方式、语言能力以及外部工具的使用都可能引入额外的变异因素。因此，在研究范围之外进行推广时应谨慎行事。最后，评估将基于评分员的评分与单一教师的参考评分进行了直接比较。尽管教师为目标课程提供了实用且相关的真实标准，但题目本身的技术性和以参考答案为基准的特性以及明确的教师评分标准限制了评分的自由度，但这些因素并不能消除教师可能存在的严格性或宽容性差异。教学评分本身也可能包含主观性，而采用其他参考设计（例如多教师小组或裁决）可能会改变估计的分歧率。这些局限性并不否定观察到的模式，但它们将结论的范围限制在了此处使用的操作设置和参考标准之内。

这些发现对技术性评估中的教学实践具有直接的影响。教师应将基于大语言模型（LLM）的评分主要视为决策支持工具，而不是一个自动的及格/不及格判定机制，因为在严格的及格政策下，对评分阈值的敏感误校准可能会导致不均衡的后果。此外，由系统生成的题目在部署前应进行简短的验证，重点检查答案的清晰度、预期解决方案的独特性以及是否存在减少歧视的意外捷径。在实际操作中，评分员在分类和提供反馈方面最为有用：接近及格阈值的回答或与参考答案明显不符的回答应优先由教师进行审查。最后，教师应关注严重的误判情况（例如拒绝给分），并将其作为独立的风险指标，同时关注总体评分的一致性，并在误判情况超过可接受水平时调整提示、审查规则或工作流程保护措施。

4.6. 未来工作
根据这些结果，有几个具体的研究方向：
- 首要任务是进行以阈值为中心的校准，以减少误判的严重性，同时避免不必要地增加及格率。这可以包括学习从评分员评分到教师评分的简单单调映射关系，估计特定条件下的偏移量，或在误判率有明确限制的情况下优化决策阈值。由于观察到的风险取决于具体政策，因此校准应在预定的评分政策下直接进行评估，而不仅仅是通过降低评分误差来实现。
- 其次，需要确定导致严重误判的机制。对于教师给出满分但评分员给出不及格结果的情况，可以通过针对性的错误分析来确定差异是由评分标准理解错误、遗漏所需元素、对风格或简洁性的过度惩罚，还是对答案格式的敏感度造成的。这种诊断可以用于改进提示设计、评分标准编码或结构化评分策略，从而减少对表面线索的依赖，并提高与教师标准的一致性。
- 第三，应扩展鲁棒性评估的范围，不仅仅局限于当前的人工/系统评分模式，还要涵盖其他与实际应用相关的变化情况。例如，不同的答案长度分布、引入改写和格式变化、混合不同水平的学生能力，或包括在不同工具使用环境下生成的答案。目标是识别哪些变化会导致校准偏差，并在最坏情况下验证缓解策略的有效性。
- 第四，需要研究评分汇总的作用。虽然单法官评分在操作上具有吸引力，但小规模的独立评分组合或多代理人小组可能有助于减少方差并减轻系统性保守倾向，尤其是在及格边界附近。未来的工作可以量化这种汇总策略的成本与可靠性之间的权衡，并测试它们是否能够减少教师对完美答案的误判情况。
- 最后，将决策分析扩展到多级评分区间将更符合许多实际的评分政策。通过评估多个分界点（例如不及格/及格、及格/优秀）的稳定性，并报告每个区间的错误严重程度，可以更全面地描述评分员的操作风险特征，并提高该方法在其他课程和评估环境中的适用性。此外，未来的工作还应扩大评估的学生模型范围，包括更多类型的大语言模型（如GPT-4、Claude、Gemini），以测试观察到的效果在不同模型家族和能力水平上的稳定性。

5. 结论
本研究通过将评分员的评分结果与教师参考评分（1-10分制）进行比较，并分析应用操作性及格规则（得分≥9分即为及格）的后续影响，评估了基于大语言模型的自动评分在IA2课程书面考试中的表现。ExamQ-Gen实现了一种教师参与的工作流程，其中大语言模型的输出作为考试命题和评分的参考，教师最终决定分数和及格/不及格。在300个评分题目中（人工评分n=160；系统评分n=140），在人工评分条件下得分一致性较高，但在系统评分条件下显著下降，表明评分稳定性取决于答案的分布情况，即使评分标准和教师标准保持不变。观察到的下降是有方向性的，并且与模型类型相关：PIPELINE/Mistral模型表现出明显的保守倾向，系统性地低估了学生的分数；而PIPELINE/Llama3模型则表现出相反的趋势。当分数被划分为及格/不及格时，这种分数变化会导致不对称的决策错误：误判的情况仍然较少见，但误判不及格成为主要风险，尤其是在系统评分模式下。进一步分析表明，这种情况不仅限于临界阈值的翻转——在最受影响的条件下，评分员甚至可能拒绝给分给那些教师认为完美的答案。因此，我们对两个评估的学生模型分别得出了模型层面的结论。

从方法论角度来看，这些发现支持了针对教育用途的大语言模型评分器的评估标准，这些标准不仅关注总体评分一致性，还要求进行基于阈值的决策分析、在条件变化下进行详细报告，并能够识别高成本的错误（如对明显正确答案的拒绝给分）。总体而言，系统是否适合用于考试应通过其在预定决策政策下的风险特征来评估，重点应放在减少严重误判的同时，保持对误判的适当防护上。