《Array》：EvaluAI: Automatic scoring short-answer constructed-response questions with LLMs
编辑推荐：
高等教育中简答题的人工评分耗时费力，且常依赖无法捕捉学生概念性理解的简化方法。研究团队引入EvaluAI，一种基于大语言模型（GPT-4o mini）的自动评分工具，其采用模块化提示，将人工评分者的量规（rubric）与预期答案知识、少样本示例（few-sho
高等教育中简答题的人工评分耗时费力，且常依赖无法捕捉学生概念性理解的简化方法。研究团队引入EvaluAI，一种基于大语言模型（GPT-4o mini）的自动评分工具，其采用模块化提示，将人工评分者的量规（rubric）与预期答案知识、少样本示例（few-shot examples）、思维链分析（Chain-of-Thought, CoT）及反馈相结合。模型输出的0–10分通过一个分段线性函数映射到四级量规，该函数的两个阈值可设为默认值，也可基于一小批已评分作答进行校准。在一门拥有130名学生的二年级数据结构课程中，详细的领域知识与正确、错误示例的均衡配对将宏观平均均方误差（macro-averaged mean squared error）从0.108降至0.063（R2=0.57），模型与评分者之间的差异接近人类专家之间的差异。结果在较宽的阈值范围内对映射阈值不敏感，且在重复推理中保持稳定；对每种配置重新校准映射，可将模型评分标准的变化与其区分答案能力的变化分离开来。EvaluAI还推广应用于一门最优化课程。
论文解读
一、研究背景与问题
在高等教育中，通过简答式建构反应题（short-answer constructed-response questions）对学生的理论知识进行准确评估，对于确保深度而有意义的学习至关重要。然而，人工批改这类题目对教师而言是极其耗时耗力的过程，尤其当学生人数众多时更为突出。这一现实挑战促使许多课程采用更快捷的评估方式，如选择题或判断题，但此类题型虽然效率高，却无法捕捉学生知识的复杂性与深度，也不利于批判性思维的培养。近年来，自然语言处理领域尤其是大语言模型（Large Language Models, LLMs）的快速发展，为开放式作答评估难题带来了重要创新。这类模型具备生成连贯且语境恰当的自然语言的强大能力，可借助零样本学习（Zero-shot learning）和少样本学习（Few-shot learning）等技术，在无需大量任务特定训练数据的情况下执行任务。思维链提示（Chain of Thought, CoT prompting）进一步使模型能够生成逐步推理过程，通过将复杂问题分解为连续的逻辑步骤来提升多步任务求解能力。零样本思维链（Zero-shot-CoT）则结合了零样本学习的泛化能力与思维链的结构化推理优势。此外，在初始提示中补充背景信息与澄清性子问题的方法，也能进一步细化模型对任务的理解。这些技术使大语言模型特别适合自动化评估开放式作答，不仅能实现高效评分，还能提供详细且个性化的反馈。本研究旨在开发一种基于大语言模型的创新工具，以自动化评估简答式建构反应题，显著减轻教育工作者的工作负担。
二、研究内容与主要结论
研究人员基于真实题目与作答构建了多个数据集，这些作答此前已由教育工作者评分。研究使用OpenAI的API，采用GPT-4o mini模型，系统比较了多种提示技术，包括零样本（Zero-shot）、少样本（Few-shot）、思维链（Chain of Thought）以及知识整合，同时修改提示的逻辑结构与内容，以确定该任务的最佳方案。研究引入EvaluAI工具，其核心是一个模块化提示，整合了人类评分者的量规、预期答案知识、少样本示例、思维链分析与反馈。模型输出的0–10分通过分段线性函数映射到四级量规，两个阈值可设为默认值或基于少量已评分作答进行校准。在一门130名学生的二年级数据结构课程中，详细领域知识与均衡的正误示例配对使宏观平均均方误差从0.108降至0.063（R2=0.57），模型与评分者的差异接近人类专家之间的差异。结果对映射阈值在较宽范围内不敏感，且在重复推理中保持稳定。对每种配置重新校准映射，可将模型评分标准的变化与其区分答案能力的变化分离开来。EvaluAI还成功推广应用于一门最优化课程，验证了其跨课程泛化能力。该研究不仅实现了自动化评估，还允许学生申诉成绩，提供了更透明、更公平的体系；同时，评估后数秒内即可提供反馈，提升了教学过程的效率。
三、关键技术方法
研究人员主要采用了以下关键技术方法：其一，基于GPT-4o mini大语言模型，通过OpenAI的API调用实现自动评分；其二，设计了模块化提示结构，将人类评分者量规、预期答案知识、少样本示例、思维链分析与反馈整合于同一提示中；其三，采用分段线性函数将模型0–10分输出映射至四级量规，阈值可设为默认值或基于少量已评分作答进行校准；其四，系统比较了零样本、少样本、思维链及知识整合等多种提示技术，通过修改提示的逻辑结构与内容来确定最优方案。研究数据来源于一门130名学生的二年级数据结构课程以及一门最优化课程的真实题目与作答，这些作答此前已由教育工作者评分。
四、研究结果
提示配置对评分精度的影响。 研究通过对比不同提示配置下的宏观平均均方误差（macro-averaged mean squared error）发现，详细领域知识与均衡的正误示例配对显著提升了评分精度，将宏观平均均方误差从0.108降至0.063（R2=0.57），表明知识整合与少样本示例的组合对模型评分能力具有关键促进作用。
模型与人类评分者的一致性。 研究比较了模型评分与人类专家评分之间的差异，发现模型与评分者之间的差异程度接近人类专家之间的差异，说明EvaluAI的评分行为在统计意义上与人类评分者具有可比性，具备替代人工评分的潜力。
映射阈值敏感性分析。 研究检验了分段线性函数映射阈值对结果的影响，发现结果在较宽的阈值范围内对映射阈值不敏感，表明该评分系统对映射参数的选择具有鲁棒性，默认阈值即可获得稳定表现。
重复推理稳定性。 研究对同一批作答进行了多次重复推理，发现评分结果在重复推理中保持稳定，说明模型输出的随机性对最终评分结果影响有限，系统具有可靠的复现性。
评分标准与区分能力的解耦分析。 研究通过对每种配置重新校准映射，成功将模型评分标准的变化与其区分答案能力的变化分离开来，为理解不同提示配置对模型行为的影响提供了方法学框架。
跨课程泛化验证。 研究将EvaluAI应用于一门最优化课程，验证了该工具在不同学科课程中的泛化能力，表明其不仅限于数据结构课程，具有扩展到多种学科与教育情境的可能性。
五、讨论与结论
讨论部分指出，EvaluAI的模块化提示设计有效整合了人类评分者的专业知识与LLM的生成能力，详细领域知识提供了评分所需的学科背景，而均衡的正误示例则帮助模型建立正确的评分判别边界。思维链分析使模型的评分过程具有可解释性，不仅输出分数还生成推理过程，有助于学生理解评分依据并支持成绩申诉。分段线性映射策略将模型连续分数转换为离散量规等级，既保留了模型评分的精细度又符合教学评估的实际需求，且映射阈值的不敏感性降低了系统部署的校准成本。重复推理的稳定性表明该系统在实际教学应用中具有可靠的复现性。研究结论部分翻译如下：本研究提出的EvaluAI工具基于GPT-4o mini大语言模型，通过模块化提示整合人类评分者量规、预期答案知识、少样本示例、思维链分析与反馈，实现了简答式建构反应题的自动化评分。在130名学生的数据结构课程中，详细知识与均衡的正误示例配对将宏观平均均方误差从0.108降至0.063（R2=0.57），模型与评分者的差异接近人类专家之间的差异。结果对映射阈值不敏感且重复推理稳定，重新校准映射可分离模型评分标准变化与区分能力变化。EvaluAI还成功推广至最优化课程，展现了跨课程泛化能力。该研究为高等教育评估提供了一种更高效、更公平且以深度学习为中心的自动化评分方案，有望使教育工作者将更多时间投入研究与个性化教学等高价值任务。
