《Computers and Education Open》：AI-assisted, instructor-supervised grading and feedback in higher education: Design and evaluation of an end-to-end pipeline
编辑推荐：
在高等教育中，及时且具有建设性的反馈对学习至关重要，但传统评分方式耗时、不一致且常有延迟。本研究设计、部署并评估了一条基于GPT-4o的端到端评分与反馈流程，该流程在一门硕士课程中与教师评分并行运行，作为教师评估的补充而非替代。研究人员在六项连续的案例研
在高等教育中，及时且具有建设性的反馈对学习至关重要，但传统评分方式耗时、不一致且常有延迟。本研究设计、部署并评估了一条基于GPT-4o的端到端评分与反馈流程，该流程在一门硕士课程中与教师评分并行运行，作为教师评估的补充而非替代。研究人员在六项连续的案例研究作业中，对362份学生提交进行了评估。结果显示，83%的AI评分落在教师评分的±0.5分范围内，平均绝对误差（MAE）为0.31分，组内相关系数（ICC(2,1)）为0.49。反馈在24小时内送达，每位学生每项作业的成本约为0.55欧元。全语料库检查显示，AI生成的反馈与评分标准（rubric）紧密关联，内容详尽且模板化（boilerplate）程度低。该系统在通用数据保护条例（GDPR）保障措施下部署，作为教师评分的补充手段而非替代方案。
**论文解读文章**
**一、研究背景与问题**
在高等教育中，评估兼具认证学习与通过反馈支持学习的双重功能。然而，对开放性作业（如论文和案例研究）的传统评分方式耗时、不一致且常常延迟。教师和助教在大型班级中面临沉重工作负担，这削弱了形成性评估的教学潜力。个性化、及时的反馈是学生成功的关键驱动力，但学生往往收到延迟或极简的评语，无法有效支持学习。此外，评分者之间的不一致会损害公平性和学生信任。人工智能（AI）在应对这些挑战方面展现出潜力，可自动化评分、生成个性化反馈并高效扩展评估规模。然而，AI评分引发了关于偏见、公平性、透明度和数据隐私的担忧。尽管已有一些研究探讨了反馈质量评估、反馈生成和自动化作业评分，但在真实学术环境中对集成式AI评分框架的评估仍然有限。为弥补这一空白，本研究设计、实施并评估了一个在真实大学课程中部署的AI评分框架。
**二、研究开展与结论**
研究人员在葡萄牙一所大型技术大学的硕士级信息系统项目管理课程中，并行部署了基于GPT-4o的AI评分系统。该系统使用GPT-4o根据定义的评分标准对开放性学生回答进行评分并生成个性化反馈。AI评分和反馈作为第二意见信号提供给学生以支持反思和改进，而教师评定的分数仍然是唯一的官方（总结性）记录。研究共收集了来自66名学生的362份提交，对AI与教师评分的一致性、AI生成反馈的结构充分性以及系统的效率和成本进行了综合评估。研究得出以下主要结论：AI评分达到预设的准确度容差（83%的分数落在±0.5分范围内），平均绝对误差（MAE）为0.31分；但机会校正一致性仅为中等水平（ICC(2,1)=0.49），表明AI与教师评分在精细区分度上不可互换，因此只能作为补充工具；AI反馈在结构上是完善的，近乎普遍地提供精细化反馈。该研究为将大语言模型（LLM）整合进学术评估提供了关于教育价值、技术可行性和伦理影响方面的实证证据。论文发表于《Computers and Education Open》。
**三、关键技术方法**
本研究采用设计科学研究方法论（DSRM）构建并评估AI评分系统。系统架构利用Google Forms收集提交，通过Python脚本和Google Cloud Functions进行编排与自动化，使用OpenAI API调用GPT-4o进行AI处理，并使用BigQuery进行数据分析。数据保护架构包括：数据驻留在大学工作空间内；在传输至OpenAI端点前进行匿名化处理；采用合同与政策控制（OpenAI API标准数据使用政策）；并设有保留策略。样本队列来自一所葡萄牙大型技术大学的硕士课程，包括66名学生的362份提交，所有学生均以英语提交作业。
**四、研究结果**
**1. 模型选择**
研究人员评估了六种候选大语言模型（LLM），利用过往队列的150份匿名评分答案作为离线基准（offline benchmark）。指标包括：评分标准级别准确性（Pearson r）、反馈完整性、延迟和成本。基于最佳综合性能，GPT-4o被选为生产模型，其在离线基准中显示高准确性（r=0.92）、合理的延迟（35秒/份）和低成本（0.19欧元/份）。
**2. 评分比较（AI vs. 教师）**
对362份提交的分析显示，83%的AI评分落在预设的±0.5分容差内，平均绝对误差（MAE）为0.31分；主要一致性指标ICC(2,1)为0.49，处于较差/中等边界。Bland-Altman分析显示，AI存在微小的负向偏差（-0.16分），且95%一致性界限为[-0.83, +0.52]，表明AI在差异最大时可能比教师评分低约0.8分。AI的评分范围（3.08-4.75）比教师的评分范围（2.75-5.0）更窄，显示出范围压缩效应。标准级别分析（采用Friedman检验）显示，AI在C4个人观点标准上的平均分显著低于其他标准，但由于缺乏标准级别的人类评分数据，无法区分是AI评分严格还是学生在此标准上表现不佳。
**3. 学生对AI反馈的反馈**
通过自愿调查收集了112份有效反馈，约80%的反馈认为AI生成的反馈“非常有用”或“有用”，约77%的反馈认为反馈“完全准确”或“基本准确”。这表明学生对AI反馈的感知是积极的，但调查回复率（约31%）和自愿性质表明结果仅具指示性。
**4. AI反馈质量的自动化评估**
研究人员对全部362份提交的反馈语料库进行了自动化评估，计算了五个可复现的指标。结果显示：反馈词汇多样性高（优势评论83%独特，改进建议71%独特，避免事项83%独特），表明模板化程度低；跨表现等级相异度略高于组内相异度，表明反馈根据表现水平有所个性化；99.7%的改进建议和避免事项评论包含Shute行动动词；99%的改进评论提及至少一个评分标准；AI评分与负面标记数量呈负相关（r=-0.26, p<0.001），表明较低分数的提交收到更关键的反馈。根据启发式Shute分类，99.7%的记录符合精细化反馈（EF）标准，即最有教学价值的反馈类别。
**五、讨论与结论总结**
**讨论部分总结：** 研究人员讨论了AI评分系统的准确性是否足以支持辅助角色，指出AI的评分误差（0.31分）相对于教师评分的标准差（0.41分）而言并非微小的舍入差异，因此不能替代教师。然而，考虑到AI错误从未进入官方记录、反馈次日早晨即可送达且结构质量得到验证，该系统提供了一种明显优于传统反馈模式的方案。研究还指出离线基准与在线部署之间的显著性能差距（r=0.92 vs. r=0.57），强调离线基准可能高估LLM评分器在真实场景中的表现。局限性包括：仅与单一教师评分比较、学生感知调查回复率偏低、仅覆盖一门课程且仅限英文提交、以及效率数据来自教师自我报告。
**研究结论翻译：** 本研究设计、部署并评估了一条基于GPT-4o的评分与反馈流程，在一门硕士级信息系统项目管理课程中连续六项案例研究作业中与教师评分并行运行。主要发现如下：在66名学生的362份评分提交中，AI评分器达到了预设的准确度容差，在83%的提交中在±0.5分范围内复现了教师的分数，在五分制上的平均绝对误差为0.31分。然而，机会校正一致性充其量仅为中等水平（ICC(2,1)=0.49，95% CI [0.33,0.61]），受研究生成绩变化范围狭窄的衰减影响，且AI存在微小但统计上可靠的保守偏差（-0.16分），并伴有明显的评分范围压缩。简而言之，AI很少将学生错评一个完整分数段，但在精细区分层面上无法与教师互换，0.31分的典型误差相对于0.41分的教师评分标准差而言是显著的；这正是我们将其定位为人工监督下的补充而非替代品的原因。自动化语料库分析表明，反馈本身在结构上是完善的：近乎普遍的精细化反馈覆盖率（99.7%）和评分标准提及率（99%）、低模板化程度，以及追踪较低分数的批评语气。在112份调查反馈中，约80%评价反馈有用，77%评价准确，尽管这些反馈来自31%的自选回复率，这佐证了而非证明了教学价值。该流程的运行成本约为每位学生每项作业0.55欧元，并在24小时内返回反馈。实践意义在于，该系统由现成组件构成，可供具有适度云基础设施预算的教育者复现。本研究的核心信息是：AI评分器是作为教师评分的补充而非替代品部署的。官方分数始终是教师的分数；AI输出用作异常检测的第二意见信号，并为学生提供额外的基于评分标准的形成性反馈。一个值得注意的方法论洞见是离线基准准确性（r=0.92）与在线部署性能（r=0.57）之间的差距，这表明离线基准可能显著高估LLM评分器在真实场景中的行为，并验证了在真实课程中评估该人工制品的决定。研究人员建议在跨学科和跨课程中进一步测试该流程，并开展纵向研究以测量AI补充反馈带来的学习收益。总之，当透明地部署并作为人类判断的补充时，LLM辅助的评分与反馈能够以高等教育实践中可行的规模和成本，支持及时、一致且有意义的形成性评估。教师仍然是核心，AI扩展了教师的覆盖范围。
