《Computers and Education: Artificial Intelligence》：A hybrid reasoning framework for artificial intelligence assessment rubric generation in human and automated contexts: Evidence from an undergraduate programming course
编辑推荐：
开发评估量规（rubric）需要大量资源，限制了高频次形成性评估的实施。本研究提出了HARMOGEN-R（Hybrid Assessment Rubric Model Generation with Reasoning，混合评估量规模型生成与推理）框架，该框架
开发评估量规（rubric）需要大量资源，限制了高频次形成性评估的实施。本研究提出了HARMOGEN-R（Hybrid Assessment Rubric Model Generation with Reasoning，混合评估量规模型生成与推理）框架，该框架使用推理增强型大型语言模型（Large Language Models，LLMs）进行初始量规生成，并使用标准模型进行综合。该框架支持两种生成方式，即具有预定义评估准则的结构化（structured）方式，以及由人工智能（Artificial Intelligence，AI）定义准则的自由形式（free-form）方式。研究人员采用被试内设计，在一个本科计算机科学课程的三项形成性编程作业中，对308个开放性回答（文本和代码）比较了四种AI生成量规与一种人工创建基线量规。四名人类评估者和三名LLM评估者分别使用每种量规对所有回答进行评分。当由人类评估者应用时，所有AI生成量规在操作性±5分范围内（葡萄牙0-20分制中为±1分，即最大值的5%）达到汇总等效性，相关系数为0.948至0.973，成绩一致性的二次加权kappa为0.929至0.988。在作业和问题类型层面，有五个单元超出此范围，且OpenAI结构化（OpenAI Structured）是唯一在所有作业中均达到等效性的来源。在自动化评估中，等效性取决于评估者模型。DeepSeek V3对所有量规来源均达到等效性，而GPT-4.1和GPT-4o则表现出系统性负向偏差。开放权重（DeepSeek）和专有（OpenAI）模型在大多数条件下生成了等效量规，其中结构化生成显示出更高的跨模型一致性。这些研究结果表明，对于技术性内容，AI生成量规能够实现与人工创建量规的评分可比性（scoring comparability），尽管结果取决于量规格式、评估者模型和评估情境；该证据涉及的是评分可比性，而非更广泛的量规效度。
**论文解读：HARMOGEN-R框架下AI生成评估量规的评分可比性实证研究**
**一、研究背景与问题提出**
当代教育机构在入学人数上升和学生群体多样化的背景下，评估流程面临日益增长的压力。开放性任务的评估需要大量教学时间和机构协调，同时引发评分一致性、评估者工作负荷以及结果及时反馈等问题。量规（rubric）作为结构化评估工具，能够将复杂任务分解为明确标准和表现水平，已在教育实践中广泛应用。然而，量规的开发对于教育者而言仍是一项艰巨任务，需要定义相关标准、可观察指标和表现描述符，且过程迭代性强、耗时巨大。尽管已有研究探索基于人工智能（AI）的方法支持量规开发，如Du等人提出的交互式生成系统，但现有文献多侧重可读性、清晰度等主观质量维度，缺乏对AI生成量规与人工创建量规在评分结果上是否可比这一核心问题的实证检验。此外，自动评估系统中量规来源与评分行为的关系尚不明确。因此，有必要在实际评估环境中系统比较AI生成与人工创建量规的表现，并考察不同评估者类型和模型家族间的差异。
**二、研究开展与主要结论**
针对上述问题，研究人员引入了HARMOGEN-R（混合评估量规模型生成与推理）框架，该框架通过两阶段流程自动生成完整评估量规。研究在葡萄牙一所大学的数据结构与算法课程中开展，收集了三个形成性编程作业的308个开放性回答（154个文本短答题和154个代码题），采用被试内设计，由四名人类评估者和三名LLM评估者使用五种量规（一人人工基线、四种AI生成变体）对所有回答进行评分。研究发现，当由人类评估者应用时，所有AI生成量规在汇总层面达到与人工基线量规的统计等效性；在自动化评估中，等效性取决于评估者模型，DeepSeek V3表现稳定，而GPT-4.1和GPT-4o出现系统性负向偏差。开放权重模型（DeepSeek）与专有模型（OpenAI）生成的量规在多数条件下等效。该研究发表于《Computers and Education: Artificial Intelligence》，为AI生成量规的评分可比性提供了重要实证证据，表明其可作为人工量规的可行替代，但结果具有情境依赖性。
**三、关键技术方法**
研究人员主要采用了HARMOGEN-R两阶段生成框架：第一阶段使用推理增强型LLM（如o3-mini、Deepseek-r1-distill-llama-70b）在高温（T=1.0）下生成三个候选量规以促进多样性；第二阶段由标准模型（GPT-4o、deepseek-chat）在低温（T=0.1）下综合为单一最终量规。框架支持结构化（预定义标准）和自由形式（模型自定义标准）两种模式。评估阶段使用IntroEduAI平台，对文本问题采用检索增强生成（Retrieval-Augmented Generation，RAG）从课程材料中检索语义相关片段，代码问题则无外部检索。统计方法主要包括TOST等效性检验、Pearson/Spearman相关、Wilcoxon符号秩检验、组内相关系数（Intraclass Correlation Coefficient，ICC）、二次加权kappa、混合效应模型及McNemar检验。
**四、研究结果**
**4.1 人类评估者基线表现**
四名人类评估者使用人工创建量规评估所有回答，ICC(2,1)在0.878至0.905之间，ICC(2,k)在0.966至0.974之间，平均绝对差（Mean Absolute Difference，MAD）为7.91至9.19点，表明人类评估者间一致性较高，但单个评估者间的分歧超过了后续等效性分析所用的±5点范围。
**4.2 人类评估者使用AI生成量规的表现**
汇总结果显示，四种AI生成量规均达到TOST等效性标准，相关系数为0.948至0.973，ICC为0.973至0.986。然而，在作业和问题类型层面，有五个组合超出±5分等效阈值，主要集中在作业1的代码问题和作业2的代码问题。OpenAI结构化量规是唯一在所有三个作业中均达到等效性的来源。混合效应模型估计的量规来源效应在?1.10至1.32点之间，位于±5点范围内。
**4.3 LLM评估者使用AI生成量规的表现**
DeepSeek V3对所有四种AI生成量规均达到等效性，而GPT-4.1仅对DeepSeek自由形式量规达到等效，GPT-4o对OpenAI自由形式和DeepSeek自由形式量规达到等效。GPT-4.1和GPT-4o在结构化量规下表现出最大负向偏差。结构化量规与自由形式量规的比较显示，LLM评估者在结构化量规下的平均差异为?4.46点，显著低于自由形式量规的?0.66点（p<0.001），与人类评估者的表现模式相反。基于方差的质量控制系统识别出1.43%的评估需要人工审查。
**4.4 开放权重与专有模型比较**
DeepSeek与OpenAI量规在大多数作业和方式组合中达到等效，主要例外是作业1的自由形式比较（平均差异5.49点，TOST p=0.790）。结构化生成显示出更高的跨模型一致性，汇总平均差异为?0.08点；自由形式为2.85点。成绩等级的二次加权kappa在0.893至0.974之间。按问题类型分解，文本自由形式问题的平均差异最大（5.64点）。
**五、讨论与结论总结**
讨论部分指出，AI生成量规在人类评估者应用中能达到汇总层面的评分等效性，但局部差异提示聚合结果可能掩盖特定情境下的偏差。结构化生成在跨模型一致性方面表现更优；LLM评估者的选择与量规来源存在交互效应，GPT系列模型作为评估者时更严格。开放权重模型可产生与专有模型相当的结果，但自由形式生成在跨模型切换时需谨慎。局限性包括被试内设计可能产生遗留效应、评分可比性不等于全面量规质量、人工基线量规为课程特定参考而非绝对标准等。
研究结论部分强调：HARMOGEN-R框架生成的两阶段量规流程在308个开放性回答上得到验证。AI生成量规在技术性内容上能达到与人工创建量规的评分可比性，但结果受量规生成模式、评估者类型、问题类型和作业背景的共同制约。人类评估者应用时汇总等效性成立，结构化生成结果最稳定；LLM评估者应用时，等效性依赖具体评估者模型。开放权重与专有模型间替换时，结构化生成提供最高跨模型一致性。该研究为教育评估领域提供了AI辅助量规生成的实证基础，未来研究需扩展到更多学科和评估情境。
