EduFairBench:面向教育评估大语言模型的可复现评测协议

《Frontiers in Artificial Intelligence》:EduFairBench: reproducible evaluation of large language models for educational assessment

【字体: 大 中 小 】 时间:2026年08月29日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  大语言模型(LLM)正越来越多地用于评估开放式教育作答。然而,其性能常通过聚合指标衡量,对预测稳定性、不确定性、错误模式及反馈质量的洞察有限。研究人员提出EduFairBench,一种可复现评测协议,旨在利用开放教育基准刻画LLM在短答案评估与自动作文评分(A

  
大语言模型(LLM)正越来越多地用于评估开放式教育作答。然而,其性能常通过聚合指标衡量,对预测稳定性、不确定性、错误模式及反馈质量的洞察有限。研究人员提出EduFairBench,一种可复现评测协议,旨在利用开放教育基准刻画LLM在短答案评估与自动作文评分(AES)中的行为。该协议在统一实验框架内结合重复推断、多数投票整合、不确定性估计、错误分析及生成反馈的结构化评估。实验在SciEntsBank、Beetle与ASAP2上进行,涵盖2000条学生作答与10000次独立LLM推断。结果显示与人类评估具有中等预测一致性,同时揭示名义与序数评估任务间存在显著差异。重复推断在各基准上表现出高内部稳定性,但语义相邻类别间仍存在系统性错误,表明预测一致性不一定意味着正确性。反馈质量随任务类型变化,较长文本上下文产生更具体且具教学结构的解释。这些发现表明教育LLM评估需超越常规性能指标的互补分析。EduFairBench为联合分析预测性能、鲁棒性、不确定性与反馈质量提供可复现方法,为严格评估基于LLM的教育评估系统提供全面方法框架。
研究背景方面,大语言模型(Large Language Model, LLM)在自然语言理解、生成与分析上的能力迅速扩展,已被引入教育场景承担辅导、内容生成、自动评估与个性化反馈等任务。开放式教育作答评估要求模型解释异质语言证据、区分概念理解层次并产出可与人类评判者比对判断,但现有研究多依赖单次执行的聚合指标,对预测可复现性、重复推断稳定性、决策不确定性及生成反馈可靠性揭示不足。两模型整体性能相近时,其在错误分布、预测稳定性、置信度校准与反馈质量上可能差异显著;高度一致的预测未必正确,结构良好的解释也可能伴随错误分类。已有文献反复指出六类局限:数据集文档不完整、提示设计与推断参数报告不足、重复推断分析有限、不确定性感知评估稀少、系统性错误机制刻画薄弱、预测性能与反馈质量分离不够。为此,研究人员在《Frontiers in Artificial Intelligence》发表研究,提出EduFairBench这一模型无关、可复现的评测协议,将数据集审计、提示版本可追溯、重复推断、多数投票整合、不确定性估计、语义错误分析与结构化反馈评估整合于统一可追溯工作流,以多维刻画LLM在教育评估中的行为。
关键技术方法上,研究人员选用SciEntsBank(500条短答案,195题)、Beetle(500条短答案,42工程题)与ASAP2(1000篇作文,7提示)三类公开基准,覆盖名义短答案分类与序数作文评分两种范式;采用固定随机种子(20260626)分层采样保留原分布,以GPT-4.1-mini为被评模型,温度0.2、最大输出900 token、每实例独立重复推断5次,输出经JSON Schema校验;整合预测取多数投票?i=argmaxcn(c|Ri);名义任务报Accuracy、Macro-F1、Weighted-F1、Cohen's Kappa,序数任务报MAE、RMSE、Pearson/Spearman相关与二次加权Kappa(Quadratic Weighted Kappa, QWK);不确定性以2000次非参数Bootstrap得95%置信区间;鲁棒性用Exact Consistency、Shannon熵Hi=-∑kpiklog2(pik)与均值置信;反馈质量由特异性、建设性、可操作性、清晰性、完整性、建议与解释七项结构化指标算术均值得指数,全部产物以SHA-256与版本化清单追溯。
研究结果部分,4.1基准表征显示三基准在概念密度与文本长度上差异明显,ASAP2精确一致性最高(0.925)但均值置信最低(0.851),短答案基准置信更高但一致性略低,说明一致性与置信捕获互补属性。4.2整体模型性能中,ASAP2的QWK=0.462(95%CI 0.420–0.500)、MAE=0.648,错主要在相邻分;Beetle准确率0.608、Macro-F1 0.552,SciEntsBank准确率0.580、Macro-F1 0.433,表明概念多样性增高时类别平衡性能下降。4.3预测行为分析下,4.3.1短答案错误显示correct类最稳,partially_correct_incomplete与contradictory类F1最低(Beetle 0.449/0.520,SciEntsBank 0.413/0.462),主导误转含correct→partial、partial→correct、contradictory→partial,熵低且稳定,属语义相邻压缩而非随机错分;irrelevant类在两基准表现分化(SciEntsBank 0.547 vs Beetle 0.121),因Beetle含技术术语但未答题。4.3.2 ASAP2序数错误显示预测向中间分(尤3分)吸引,低分正残差高估、高分负残差低估,4→3与2→3转移占近半,属系统性序数压缩。4.4反馈结构质量中ASAP2反馈指数0.973、中位97词,特异0.896、建设0.917;Beetle 0.681、SciEntsBank 0.693、中位均22词,短答案建设性极低(0.060/0.144),证明上下文长度直接决定教学结构丰富度。
讨论与结论翻译总结为:现有单指标评估不足以刻画教育LLM行为,EduFairBench的方法论贡献在于将预测性能、推断鲁棒性、不确定性量化、语义错误机制与反馈结构质量置于单一可审计协议;研究发现LLM在短答案与作文评分中均达中等人类一致,但重复推断高稳定不抵语义相邻系统错,序数评分存中心压缩偏倚,反馈质量随上下文延展而提升。该协议为跨模型、跨基准、跨场景的可复现比较提供方法基盘,使自动化教育评分在透明、可追溯与需人工监核的条件下被严谨评估。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号