《Frontiers in Psychology》:From automated scoring to learning diagnosis: a mechanism study of AI-supported formative assessment in English writing
编辑推荐:
摘要
引言:AI支持的写作评价能够提供快速评分和问题层面的评语,但其形成性价值取决于学生和教师如何解读并据此行动。本研究在大学英语写作课程中考察了这一过程。
方法:两个已有的完整班级共96名学生(每班48人)完成了三轮“写作—反馈—修改”循环。对照组(
摘要
引言:AI支持的写作评价能够提供快速评分和问题层面的评语,但其形成性价值取决于学生和教师如何解读并据此行动。本研究在大学英语写作课程中考察了这一过程。
方法:两个已有的完整班级共96名学生(每班48人)完成了三轮“写作—反馈—修改”循环。对照组(Control class)接受AI评分/标准反馈、常规教师检查和修改。诊断性审查班(Diagnostic Review class)接受DeepSeek-R1问题层面诊断,完成解读表,独立修改,接受结构化教师审查与重新评估,并记录反思。测量指标包括诊断准确性、反馈可操作性、反馈理解、自我评估准确性、修改质量、反思质量、误解编码和教师审查活动。数据分析采用带学生随机截距的混合效应模型。
结果:诊断性审查班在诊断准确性、可操作性、理解、修改质量和自我评估准确性上得分更高。组别与循环的交互效应对诊断准确性、理解、修改质量和自我评估准确性显著,而可操作性的交互效应不显著。反馈理解与修改质量的双变量关联最强。经学生聚类自助置信区间对条件和循环进行调整后,通过可操作性和理解的中介间接关联仍为正向。教师记录证实了确认、纠正、补充和重新解释四种行为,诊断性审查班的审查时间更长。
讨论:研究结果表明,AI支持的写作评价的形成性价值不仅在于自动诊断,还延伸至后续的学生解读、修改和教师审查过程。因此,重复性课堂评价宜将AI生成的诊断反馈与结构化学习者反思和情境敏感的教师判断相结合。
**论文解读**
**研究背景与问题**
形成性反馈的核心在于帮助学生对照任务标准发现差距并采取可行的修改行动(Sadler, 1989;Black & Wiliam, 1998)。然而,反馈要真正发挥作用,学生必须能够定位问题、理解其相关性、判断优先级并修改文本。传统写作反馈研究已从“反馈传递”转向“反馈吸收”与“文本变化”(Hyland & Hyland, 2006),反馈素养研究进一步强调解释和评价能力(Carless & Boud, 2018;Winstone et al., 2017)。自动写作评价(Automated Writing Evaluation, AWE)虽然能提供快速评分和密集反馈,但早期研究多聚焦于评分信度、效度及人机一致性(Warschauer & Ware, 2006;Dikli & Bleyle, 2014),后续研究开始关注语法、词汇、组织等评语的使用(Li et al., 2015;Stevenson & Phakiti, 2014;Ranalli, 2018)。生成式AI的出现使自动反馈更加流畅和详尽,但也带来如何解读、如何与教学目标对齐、教师如何审查等新问题。目前仍不清楚的是:在重复的多轮写作循环中,AI诊断、学生解读、教师审查和修改质量之间如何协同作用。为此,研究者在一门大学英语写作课程中设计并考察了一种“诊断性审查”教学流程。
**研究目的与设计**
该研究采用准实验课堂设计,比较两种教学条件对写作成绩和形成性评价过程指标的影响。研究对象为两个已有的完整班级共96名学生(每班48人),由同一名教师授课,完成三轮写作任务(问题解决段落、双段观点回应、基于材料的短答)。两组使用相同的任务要求、评分量规和评分标准。对照组(Control)接受AI评分/标准反馈、常规教师检查和修改;诊断性审查班(Diagnostic Review)接受DeepSeek-R1的问题层面诊断反馈,填写解读表(要求重述问题、解释影响、识别不确定点、制定修改计划),独立修改,随后接受结构化教师审查和重新评估,并完成反思。研究共提出四个研究问题(RQ1–RQ4)和两个假设(H1、H2),涵盖诊断准确性、反馈可操作性、反馈理解、自我评估准确性、修改质量、教师审查行为等维度。
**关键研究方法**
研究使用了以下几种关键技术方法:第一,采用DeepSeek-R1生成标准化问题层面诊断反馈,提示词统一包含任务要求、评分量规和学生习作,要求模型输出总分/等级、问题类别、位置、严重性、解释和可操作的修改方向,并明确禁止改写全文。第二,设计结构化解释表(interpretation sheet)和反思记录,要求学生以书面形式完成问题重述、效果解释、不确定性识别和修改计划,以捕捉反馈理解过程。第三,构建多维编码体系,对诊断准确性(与教师确认问题的F1一致性)、反馈可操作性(1–5分)、反馈理解(1–5分)、自我评估准确性(0–1)、修改质量(1–5分)等核心变量进行独立双人编码,并对约33.3%的循环记录进行信度估计(Cohen’s κ = 0.82;ICC(2,1) = 0.88)。第四,采用线性混合效应模型(含学生随机截距)分析重复测量数据,使用学生聚类自助法(5,000次抽样)估计间接效应置信区间。样本来自某大学英语写作课程的两个自然班,非随机分配,但基线测试显示两组在写作前测、反馈素养、自我调节学习和自我评估准确性上具有可比性。
**研究结果**
**基线等价性与写作提升**
两组在写作前测、反馈素养、自我调节学习和自我评估准确性上基线相当。对照组写作成绩从66.57分提升至70.15分,平均增益3.58分(SD = 2.26,95% CI [2.92, 4.24]);诊断性审查班从65.56分提升至71.48分,平均增益5.92分(SD = 1.87,95% CI [5.38, 6.47])。组间增益差异为2.35分(Hedges’ g = 1.12,p < 0.001),表明诊断性审查流程带来更大写作进步。
**循环层面的诊断与形成性评价指标差异**
混合效应模型显示,诊断准确性、反馈理解、修改质量和自我评估准确性存在显著的组别×循环交互作用(诊断准确性F(2, 188.4) = 3.57, p = 0.030;反馈理解F(2, 188.3) = 3.18, p = 0.044;修改质量F(2, 188.6) = 4.02, p = 0.019;自我评估准确性F(2, 187.9) = 10.31, p < 0.001),而反馈可操作性的交互作用不显著(F(2, 188.1) = 1.63, p = 0.199)。诊断性审查班在各循环的诊断准确性(0.696–0.775 vs 0.590–0.619)、反馈可操作性(3.42–3.73 vs 2.80–3.02)、反馈理解(3.43–3.83 vs 3.02–3.27)、自我评估准确性(g = 0.32→1.50)和修改质量(g = 1.39–1.86)上均显著高于对照组(Hedges’ g = 1.04–1.86,p < 0.001)。相关分析显示,反馈理解与修改质量的相关性最强(r = 0.501, p < 0.001),其次为可操作性(r = 0.480)和诊断准确性(r = 0.445)。
**AI-教师诊断一致性与教师中介**
AI-教师问题层面F1在控制组平均为0.650(SD = 0.030),在诊断性审查班为0.768(SD = 0.037),且诊断性审查班的F1从循环1的0.738升至循环3的0.803。第三循环中,词汇选择(F1 = 0.824)、连贯/衔接(F1 = 0.816)和内容/论证(F1 = 0.815)的一致性最高;控制组最低值为循环1中的来源使用/证据(F1 = 0.579)。教师审查记录显示,诊断性审查班的审查时间(10.06–10.79分钟)高于对照组(7.82–8.28分钟),增加的教学指导(每记录2.60–3.08条 vs 1.27–1.42条)和审查强度(g = 2.61–2.73)也更高。教师行为包括确认、纠正、补充和重新解释四类。
**修改结构与反思性吸收**
修改编码显示,诊断性审查班的修改质量持续提高(3.31→3.91 vs 2.70→3.09),其修改构成中意义变化、组织调整和内容/论证修改的占比更大,而对照组更多依赖表层修改(占36.5%–42.4%)。反思记录中,诊断性审查班84.0%的记录无编码误解,对照组可用记录(135/144)中77.8%无误解;对照组出现更多“不加判断地接受AI”(6.9%)和“忽视反馈”(4.2%)的编码。诊断性审查班的反思质量(循环1为2.96 vs 2.59)和监控策略使用率(0.60–0.67 vs 0.36–0.44)均更高。
**讨论与结论**
研究表明,AI支持的写作评价的形成性价值依赖于一个完整的反馈使用链条:准确的AI诊断提供证据,学生通过结构化解读将诊断转化为理解,理解驱动有针对性的修改,教师的审查和重新解释则补充了情境化判断。反馈理解是连接诊断与修改的关键中介变量。教师工作量增加反映了AI反馈在内容、组织、连贯和来源使用等问题上仍需人类判断。研究者指出,该研究的局限性包括:仅涉及两名完整班级和一名教师,可能混杂班级选择和教师效应;未记录学生任务时间;诊断性审查班的解读表和反思记录与对照组的常规记录来源不同,可能影响组间比较;未进行延迟后测。最后,研究结论强调,AI诊断、学生反馈素养、修改决策和教师中介在课堂中协同运行,重复性形成性评价应整合AI生成的诊断反馈、结构化学习反思和情境敏感的教师判断。