通过“元认知推理链”方法增强大型语言模型，可以提高论证性写作评估的准确性、学生的写作表现以及他们在写作过程中所需的脑力消耗

《COMPUTERS and EDUCATION》：Enhancing a large language model with a Chain-of-Metacognitive Reasoning approach increases argumentative writing evaluation accuracy, student writing outcomes, and mental effort

论辩性学术英语写作的元认知推理自动评估系统研发及教学应用研究。通过构建链式元认知推理（CMR）框架与群体相对策略优化（GRPO）的协同模型，在第一阶段验证了该系统在超过5000篇论辩作文评估中准确度优于现有主流大语言模型。第二阶段准实验研究表明，接受ArguCoach反馈的学生在写作成绩、认知投入度和元认知行为方面显著优于传统教师反馈组，且成绩提升具有持续性。系统通过显式呈现评估推理链，有效促进学习者自我监控与调节能力的发展。

　　

Sikai Wang | Khe Foon Hew

香港中文大学，中国香港特别行政区

摘要

有效的反馈对学习至关重要，尤其是在英语作为外语（EFL）的写作环境中。然而，教师的反馈往往延迟且难以大规模应用，而自动化的写作评估系统可能难以评估复杂的推理能力，如论证能力。尽管大型语言模型（LLMs）由于其解释上下文的能力而提供了新的可能性，但它们的反馈仍然较为通用，缺乏透明度，并可能降低学生的认知努力。为了解决这些问题，本研究引入了一种新的元认知推理（CMR）框架，通过群体相对策略优化（GRPO）和奖励函数来实现。这种训练程序被用来微调一个小型开源LLM。由此产生的CMR-GRPO系统ArguCoach能够生成结构化的推理链，以评估论证性写作。与现有系统不同，ArguCoach促使模型“大声思考”，模拟元认知策略，如计划、监控和评估。在第一阶段，ArguCoach在超过5000篇论证性文章上的评分一致性和错误数量都优于领先的LLMs。在第二阶段，在为期八周的准实验中，接受ArguCoach反馈的EFL本科生（n=50）的写作表现和认知努力显著优于接受传统教师反馈的学生（n=60）；值得注意的是，这些写作表现的提升在干预结束后仍然持续。两组学生对反馈的接受程度相似。然而，接受ArguCoach反馈的学生更有可能用新内容详细阐述建议，而接受教师反馈的学生则更倾向于直接采纳建议。这些发现表明，通过强化学习将LLMs与元认知推理相结合，可以使它们成为人机协作语言教育中的有效伙伴。

引言

反馈是指来自教师等代理的信息，关于个人的表现，是有效学习的基础（Hattie & Timperley, 2007）。这在强调生产技能的领域尤为重要，例如英语作为外语（EFL）写作，其中反馈指导修改和改进（Zou et al., 2025）。为了具有教育意义，反馈必须是可操作的，明确指出需要关注的领域，并针对每个学习者进行个性化（Dawson et al., 2018）。及时性也很关键。在48小时内提供的反馈有助于保持任务背景并最大化教学价值（McCarthy, 2016），这一点对于习惯于即时响应且不喜欢延迟的Z世代学生尤为重要（Gabrielova & Buchko, 2021）。

在EFL教育中，反馈传统上依赖于人类评估者，如教师（Wang & Gayed, 2024）。然而，教师的反馈耗时且资源需求高（Godwin-Jones, 2022），经常导致延迟。人类判断也容易受到疲劳和偏见的影响，这可能会削弱其可靠性（Choi et al., 2025）。这些限制引发了对自动化写作评估（AWE）工具的兴趣，这些工具承诺提供及时、可扩展的反馈。

尽管大多数AWE系统能够提供即时响应，但它们通常围绕表面特征设计。它们倾向于关注语法（Ramesh & Sanampudi, 2022）、标点或拼写（Wang & Gayed, 2024）、过渡短语（Escalante et al., 2023）、组织结构（Liew & Tan, 2025）或文章长度（Ramesh & Sanampudi, 2022）。它们很少涉及论证性写作所需的技能（Godwin-Jones, 2022; Wang & Gayed, 2024），例如构建明确的主张、用适当的证据支持它们、发展反论点以及保持说服力。这种限制可能是由于传统AWEs理解细微上下文意义的能力有限。

我们关注论证性写作，因为它是一项与批判性思维密切相关的认知要求高的任务（Hirvela, 2017）。许多EFL学习者在参与论证和产生高质量论证性文本方面遇到困难（Zou et al., 2021）。因此，仅仅纠正语言形式的反馈是不够的；学生还需要支持来帮助他们监控和调节自己的推理、组织论点以及批判性地评估自己的文本。换句话说，有效的论证性写作反馈不仅应该准确和及时，还应该支持学习者的元认知参与。

大型语言模型（LLMs）的最新进展为这种高级反馈提供了新的可能性。与传统的AWE系统不同，LLMs可以在上下文中处理单词，并识别论点、反论点和反驳（Qin et al., 2025）。然而，通用LLMs的教育效用仍存在争议。Bui和Barrot（2025a; 2025b）的最新实证研究表明，虽然像ChatGPT这样的模型可以打分，但它们在不同时间点往往表现不一致，且可能应用比人类评分者更严格、不那么细致的标准。此外，标准的LLM反馈通常缺乏透明度，就像一个“黑箱”，只输出分数或修改建议而不揭示评估逻辑。根据Khosravi等人（2022）提出的可解释AI在教育中（XAI-ED）框架，这种不透明度会妨碍信任并限制工具的教学价值。利益相关者，特别是学习者，需要“可操作的解释”，不仅说明哪里出了问题，还说明为什么不符合标准，从而帮助他们弥合当前表现与学习目标之间的差距。

为了解决上述限制，我们认为必须调整LLMs以执行我们所谓的“元认知推理链”（CMR）。虽然之前使用监督微调（SFT）的尝试提高了分数的一致性，但它们经常产生缺乏教学深度的公式化“伪推理”（Chen et al., 2025a; Trung et al., 2024）。相比之下，CMR要求LLM遵循与元认知调节的三个理论阶段（Flavell, 1987; Zimmerman, 2002）相一致的推理顺序，然后得出整体分数。具体来说，该架构要求模型：分析评分标准的要求并确定需要检查的内容（计划），根据这些标准检查特定文本片段（监控），并将这些观察结果综合成合理的判断（评估）。

由于最终分数取决于此前的评估输出，该设计强制进行深思熟虑的、基于标准的分析，而不是直接预测分数。重要的是，这种中间推理链以可见的“大声思考”演示的形式呈现给学习者。这种方法不同于标准反馈，因为它使评估过程透明化。这并不保证学习者本身会参与元认知调节，但它使评估过程透明化。ArguCoach系统不仅简单地提供一个分数，还阐述了作者将如何检查论点的质量。例如，在评估反论点维度之前，系统会明确指出是否存在反驳。通过暴露这种逐步的分析过程，CMR提供了一个元认知结构化的支架，学生可以观察并应用于支持自己的写作。

为了实施这一框架，我们使用了GRPO（Shao et al., 2024），这是一种强化学习技术，可以直接优化这些推理链的质量，而无需依赖大量的人工注释。由此产生的系统ArguCoach促使模型以结构化、符合评分标准的方式“大声思考”。这种方法旨在缓解Bui和Barrot（2025a）指出的评分不一致问题，同时实现XAI-ED的透明度目标。通过提供技术上准确且教育上可解释的反馈，ArguCoach旨在支持学生对其写作的元认知参与。

因此，本研究有两个总体目标：确定ArguCoach是否能够提供与领先的大型语言模型（LLMs）相比有效的、基于评分标准的论证性文章评估；以及考察ArguCoach支持的反馈如何在真实的课堂环境中影响EFL学生的成果。

据此，我们提出了四个研究问题。首先，与领先的商业和开源LLMs相比，ArguCoach在技术层面上对论证性文章的评分评估表现如何？其次，与传统的教师反馈相比，ArguCoach的反馈对中国EFL学生的论证性写作表现有何影响，以及干预后这些收益在多大程度上得以保持？第三，接受ArguCoach反馈的学生与接受教师反馈的学生在投入的认知努力、反馈接受度和元认知行为上有什么不同？第四，学生对ArguCoach反馈的看法是什么？

章节片段

EFL写作中的论证与元认知

论证是一个证明过程，作者通过合理的推理将主张与理由和证据协调起来，以说服批判性听众（Farsani et al., 2025）。除了仅仅呈现数据之外，强有力的论证还包括提出主张并提供支持证据、承认并回应反对观点、提出反驳以及得出合理的结论（Kuhn, 1991; Toulmin et al., 1990）。因此，论证既是产品（一个连贯的、逻辑结构化的

研究设计概述

本研究的动机是关于反馈设计如何影响EFL学生的论证性写作和元认知参与的教育问题。因此，我们采用了两阶段研究设计来评估CMR–GRPO方法在EFL论证性写作自动化评估和反馈中的有效性和普遍性。

第1阶段：模型开发与验证

第1阶段通过CMR–GRPO训练后流程开发并验证了ArguCoach。图1总结了工作流程。

参与者

第2阶段包括110名攻读工程专业的本科生，他们正在参加EFL课程。他们的平均年龄为19岁。他们在2025年春季学期开始时根据现有的班级被分组。根据准实验设计，一个完整的班级（N = 50）被指定为实验组（EG），另一个班级（N = 60）被指定为对照组（CG）。

两组都由同一位教师授课，使用相同的教学大纲和教材。

讨论

本研究考察了通过群体相对策略优化实现的元认知推理链方法如何支持高等教育中的自动化写作评估。来自算法基准测试和准实验课堂研究的证据显示，在评分和话语注释方面有更高的技术表现，以及对学生写作成果、认知努力和元认知行为的积极影响。

结论

本研究探讨了将元认知推理嵌入强化学习中是否可以增强EFL高等教育中的自动化写作评估。在技术层面，带有元认知奖励信号的强化学习使一个小型开源模型与人类评分者达成更高的一致性。在教学层面，接受透明、基于推理的反馈的学生在论证性写作方面表现出更大的改进

CRediT作者贡献声明

Khe Foon Hew：写作——审稿与编辑、监督、资金获取、概念化。Sikai Wang：写作——原始草稿、软件、方法论、形式分析、概念化

未引用的参考文献

Ba et al., 2025; Chen et al., 2025b; Dai et al., 2024; Didolkar et al., 2024; Ding et al., 2025; Gu et al., 2024; Jumariati et al., 2021; Riedmann et al., 2025; Tan et al., 2025; van Gog et al., 2020; Zhai and Ma, 2023; Zheng et al., 2023.

资助

本工作得到了中国香港特别行政区研究资助委员会（RFS2223-7H02）的奖学金支持。