一种面向Moodle自动化评估的RAG与基于智能体架构集成方法

《Machine Learning and Knowledge Extraction》：An Integrated RAG and Agent-Based Architecture for Automated Assessment in Moodle Anastasia Vangelova and Adelina Aleksieva-Petrova

　　

随着生成式人工智能(GenAI)在教育领域的广泛应用，开放-ended学生响应的可靠且可扩展的自动化评估仍面临挑战。本研究提出并验证了一种将大语言模型(LLM)集成至Moodle的架构方案，结合检索增强生成(RAG)与AI智能体机制，实现开放-ended学生响应的自动化评分。研究人员部署了用于实验的Moodle实例，涵盖保加利亚语和英语两个教学板块共32名学生，获得了学生层面(N=32)与任务层面(N=160)的数据，包括AI生成分数、教师评定分数及系统处理日志。结果表明，该体系在保证与专家评估高度一致的前提下，大幅缩短了评分时间。偏差分析显示，两个语言组间的系统性偏差极小，表明系统在评估中保持了客观性，未因语言差异产生持续高估或低估。研究发现，RAG与智能体化LLM相结合的架构能够在LMS环境中提供高效、准确且具有语言鲁棒性的自动化评估，并为其他教育平台及类似系统提供了可借鉴的设计指南。

研究背景与意义

当前，生成式人工智能(GenAI)的快速发展推动了大语言模型(LLM)在教育场景中的探索，尤其是针对开放-ended学生响应的自动化评估。然而，高等教育中此类手动评分工作量大、耗时长且难以大规模扩展，同时独立LLM架构常因无法严格对齐课程材料、评分标准和制度流程而产生看似合理但不准确的判断。学习管理系统(LMS)，特别是Moodle，虽在数字教育中扮演核心角色，但现有AI工具多为孤立模块，缺乏在真实机构环境中的端到端集成与验证。在此背景下，本研究由Anastasia Vangelova与Adelina Aleksieva-Petrova开展，旨在设计一种集成检索增强生成(RAG)与AI智能体的多层架构，解决Moodle环境下开放-ended问题自动化评估的效率、准确性与语言鲁棒性问题。研究成果发表于《Machine Learning and Knowledge Extraction》，为LMS集成的自动化评估提供了可复用的技术范式。

关键技术方法

研究人员采用单智能体工具化架构，部署基于Docker容器化的云基础设施，包含四层：Moodle作为教育层，n8n作为编排层，Supabase（含pgvector扩展）作为语义层，OpenAI GPT-4.1-mini作为智能层核心模型。实验队列为32名本科生（保加利亚语组13人、英语组19人），数据来自Systems Engineering课程补考的真实作答。技术核心包括：通过Moodle Web Services API与自定义Webhook插件实现事件驱动集成；RAG层采用text-embedding-3-small生成1536维嵌入，学习材料按约500token分段并保留20token重叠；智能体通过结构化提示、Think工具与计算器工具执行 rubric-based 评估，支持双语自动检测与反馈生成；视觉任务（UML状态图）调用GPT-4.1全版本进行高分辨率分析。

研究结果

6.1 自动化评分的时间效率

人工评分平均每名学生需30分钟，总计约16小时；自动化系统处理全部32名学生仅需708秒，平均每名学生22.125秒。计算加速因子达81.36倍，评分时间减少98.77%。成本估算显示，单次含视觉任务的评估成本约0.0166美元，纯文本评估约0.0042美元，32人试点总API成本仅0.53美元，具备经济可行性。

6.2 自动化评估的跨语言鲁棒性

保加利亚语组整体表现更稳定，任务级二次加权kappa(QWK)值介于0.42至0.93之间，其中结构化任务（任务2、4、5）QWK>0.91；英语组QWK值介于0.48至0.91之间，任务3与5表现最佳。学生层面的Wilcoxon符号秩检验显示，AI与专家总分差异无统计学意义(p=0.490)，平均偏差0.34分；两组间绝对误差(Mann-Whitney U=114.0, p=0.728)与符号误差(p=0.672)均无显著差异，效应量极小。系统未表现出基于语言的系统性高估或低估，生成的 formative 反馈在清晰度、有用性和正确性上均获专家高分评价。

6.3 基于RAG的幻觉缓解

系统通过双重机制抑制幻觉：提示层明确界定RAG检索内容为参考材料，禁止将其误判为学生作答；任务5（UML图）设置附件感知路由，无图像提交时强制评分为零。生产环境验证显示，任务5的QWK达0.934（保加利亚语组）与0.907（英语组），Pearson相关系数分别为0.990与0.972，证明RAG有效将智能体推理约束于课程特定语料，显著降低了无依据内容生成风险。

讨论与结论

讨论部分指出，研究受限于单一学科（系统工程）、小样本(N=32)及单人评分参考标准，未覆盖性别、社会经济背景等其他偏差维度。但核心结论明确：该多层架构通过LMS层、编排层、语义层与智能层的严格功能分离，实现了无需修改Moodle内部逻辑的端到端自动化评估闭环。RAG与单智能体工具化架构的结合，在保证评估可追溯性与可复现性的同时，实现了近82倍的效率提升，并在双语环境下维持了评估的客观性。未来研究需扩展至多学科、多任务类型，并进一步验证伦理与制度层面的合规性。