协作式多LLM自我反思迭代提示框架的自动作文评分研究

《Frontiers in Artificial Intelligence》：A collaborative multi-LLM framework with self-reflection iterative prompting for automated essay scoring

　　

自动作文评分（Automated Essay Scoring, AES）得益于大语言模型（Large Language Models, LLMs）的进步，从而改进了对学生写作中语义和上下文特征的评估。然而，许多现有的基于LLM的AES系统依赖于静态评分标准和单一模型评估，这可能导致评分一致性有限，且对不同作文主题和写作风格的适应性不足。在本文中，研究人员提出了多LLM自我反思迭代提示方法（Multi-LLM Self-Reflection Iterative Prompt Methodology, MSIPM），这是一个综合框架，融合了协作式多LLM评估和迭代式评分标准优化，以增强自动作文评估的可靠性。该系统利用自我评估过程，在作文评分之前由多个LLM反复评估和改进评分标准。此外，研究人员利用多种提示工程技术（如角色导向的人设）来确保在不同作答类别间实现统一评估。所提出的框架在公开可访问的自动学生评估奖（Automated Student Assessment Prize, ASAP）数据集上，采用二次加权卡帕系数（Quadratic Weighted Kappa, QWK）指标进行了评估。在ASAP的八个作文集中，所提出的框架达到了平均QWK为0.71，其中在第1和第3作文集达到峰值QWK为0.86。结果与人工评分高度相关，并显示出不同作文提示上的性能差异。所提出的方法通过结合协作推理、迭代评分标准增强和结构化提示，为LLM驱动的AES提供了一个系统化且可扩展的框架，从而带来更可靠和上下文感知的自动作文评估。

自动作文评分（Automated Essay Scoring, AES）受益于大语言模型（Large Language Models, LLMs）的发展，能够更好地评估学生写作的语义和上下文特征。然而，许多现有的基于LLM的AES系统依赖于静态评分标准和单一模型评估，这可能导致评分一致性有限，且难以适应不同的作文主题和写作风格。人类评分者通常会考虑评估问题、预期学习目标以及学生回答的可能变化，并能在遇到意外但有效的回答时重新审视和调整评分标准。现有LLM系统缺乏这种动态能力，同时存在评分不一致、幻觉以及缺乏异常评估验证机制等问题。为此，研究人员提出了多LLM自我反思迭代提示方法（Multi-LLM Self-Reflection Iterative Prompt Methodology, MSIPM），以模拟人类评分过程，通过迭代生成、验证和细化评分标准，提高自动化评分的一致性和公平性。

研究人员在公开的自动学生评估奖（Automated Student Assessment Prize, ASAP）数据集上评估了该框架。该数据集包含12,980篇7至10年级学生写的作文，分为八个作文集，涵盖说明文、议论文和基于来源的应答等。研究人员采用二次加权卡帕系数（Quadratic Weighted Kappa, QWK）作为评估指标，将数据分为评分标准（rubric）开发集（75%）和独立测试集（25%）。MSIPM框架包括三个主要阶段：输入准备、迭代rubric生成和作文评分。在输入准备中，使用评估问题Q、初始rubric R₀、样本作文P和人工分数G作为输入。迭代rubric生成阶段，利用多个LLM（Mistral-7B-v0.1、Llama 2 7B 和 BAAI WuDao 2.0 7B）对初始rubric进行多轮评估和细化，通过交叉模型讨论识别歧义、缺失标准和不一致，离线生成最终优化的rubric R^*。评分阶段采用不同的提示策略，包括one-shot、few-shot、self-reflection和batching，并在单模型或多LLM框架下进行评分，使用共识和异常检测（分数差异超过1分时触发重评）提高可靠性。

实验结果显示，MSIPM在八个作文集上平均QWK达到0.71，在作文集1和3上达到峰值0.86，明显优于单LLM基线（0.43）。消融研究表明各个组件对性能均有贡献，其中多LLM共识和迭代rubric细化贡献最大。这套框架提供了一种可扩展、可本地部署的LLM驱动AES方法，能够保护学生数据隐私，并具有与商业大模型竞争力，但论文也指出LLM-based AES应作为辅助评估工具而非完全替代人工评分。

关键技术方法：研究人员采用分层抽样从每个作文集的低、中、高分数组选取20篇代表作文构建样本集，结合评估问题Q、当前rubric、样本作文及对应人工分数构成提示，输入多个LLM进行独立评估和交叉讨论，迭代更新rubric直至收敛（公式R₀→R₁→…→R^*），整个过程离线完成。评分阶段使用不同提示策略（one-shot、few-shot、self-reflection、batching），设置温度0.0、top-p=1.0，最大输出256 tokens，分数通过正则提取，取最接近整数，若多个LLM预测分数差异超过1点则触发重评。评估指标为QWK。

研究结果如下：

**4.4.1 Impact of iterative rubric refinement**：在作文集1上，初始rubric R₀的QWK为0.58，经过第一、二、三迭代分别升至0.65、0.71、0.76，最终合并验证后的R^*达到0.86，较初始提升48.28%。该结果表明，多LLM迭代细化能逐步消除rubric中的歧义和缺失标准，并与人类评分行为更一致。

**4.4.2 Performance analysis of different rubrics**：在全部八个作文集上比较粗粒度、细粒度和MSIPM三种rubric，粗粒度rubric由于结构不充分表现最差，细粒度rubric因更详细的标准表现中等，MSIPM通过迭代多LLM细化在大多数作文集中取得最佳QWK，证明动态rubric设计对AES性能有显著影响。

**4.4.3 Performance analysis of different rubrics pattern**：在作文集1上评估不同提示策略（one-shot、few-shot、self-reflection、batching）及不同角色人设（如教师、教育研究者、创意写作导师）对四个评分维度（Elaboration, Organization, Fluency, Audience Awareness）的影响。自我反思提示与人工评分对齐最好，few-shot虽有一定变化但不够稳定，batching表现合理但偶尔出现不一致，说明提示设计显著影响LLM评分行为。

**4.4.4 Comparative performance analysis of the baseline models**：与BERT、GPT-4、LLaMA 7B、Mistral 7B、WuDao 2.0 7B等基线相比，MSIPM在多数作文集上获得最高或接近最高的QWK，尤其在作文集1、3、6和7上。论文指出，传统监督模型需要大量已评分样本训练，商业大模型如GPT-4存在API成本和隐私问题，而MSIPM使用小型非商业模型，易于本地部署，提供了实用优势。

**4.4.5 Component-level ablation analysis**：消融实验从单LLM基线平均QWK 0.43开始，依次加入多LLM共识（+0.13，至0.56）、迭代rubric细化（+0.11，至0.67）、自我反思（+0.03，至0.70）和验证（+0.01，至0.71）。结果表明，多LLM共识与迭代细化是贡献最大的组件，自我反思和验证提供额外增益，所有组件共同作用使平均QWK提升至0.71。

总结讨论部分，论文指出QWK值在不同作文集上的差异源于提示类型、作文长度、分数范围等固有特性，而非框架不稳定。例如作文集4和8的QWK较低（0.56和0.57），而作文集1和3最高（0.86），这与提示的具体要求和评分尺度有关。MSIPM框架虽然提高了评分一致性，但作者承认仍对提示措辞敏感，且多LLM和迭代细化增加了计算需求。因此，LLM-based AES更适合作为辅助评估手段，尤其在重要考试中需要人工监督。

研究结论部分可翻译为：在这项研究中，研究人员探讨了LLM用于AES的情况，重点关注固定评分标准的局限性、评分不一致性以及根据不同的作文提示和学生回答定制评分标准的必要性。为了应对这些挑战，研究人员提出了MSIPM框架，它在结构化的评分框架中整合了多LLM协作、迭代评分标准细化、自我反思和分数验证。通过消融研究，研究人员观察到平均QWK从单LLM设置的0.43提高到完整MSIPM框架的0.71。多LLM共识和迭代评分标准细化带来了最大的增量收益，自我反思和验证则提供了额外改进。这些结果表明，结合多个LLM并迭代改进评估标准可以提高基于LLM的作文评分的一致性和与人类评分的一致性。