
-
生物通官微
陪你抓住生命科技
跳动的脉搏
推进AI辅导系统中的基于图表的推理技术:面向STEM教育的结构化方法
《Smart Learning Environments》:Advancing diagram-based reasoning in AI tutoring systems: a structural approach for STEM education
【字体: 大 中 小 】 时间:2026年08月02日 来源:Smart Learning Environments 17.9
编辑推荐:
摘要人工智能驱动的辅导系统快速发展,改变了教育环境,但这些系统在准确解读STEM领域中常见的复杂工程图表方面仍面临巨大挑战,比如电路图和网络拓扑结构图。现有方法往往难以识别空间关系并发现缺失的连接,这主要是由于现实世界中的图表本身极为复杂,从而限制了其在基于图表的评估中的有效性。
人工智能驱动的辅导系统快速发展,改变了教育环境,但这些系统在准确解读STEM领域中常见的复杂工程图表方面仍面临巨大挑战,比如电路图和网络拓扑结构图。现有方法往往难以识别空间关系并发现缺失的连接,这主要是由于现实世界中的图表本身极为复杂,从而限制了其在基于图表的评估中的有效性。为解决这一问题,我们提出了StructRAG这一框架,它将视觉解析与模式级结构推理相结合,以提升图表解读能力。我们的方法整合了基于OCR的视觉识别技术、大型语言模型以及图模式检索功能,从而使系统能够识别缺失的连接、纠正结构错误,并提供具有结构认知能力的反馈。我们在1,650道与STEM相关的题目上对StructRAG进行了测试,结果显示其整体问题级准确率为89.3%,边缘级F1分数的微观平均值为93.0%,性能优于OCR+CV、仅使用GPT-4处理图形的方案、直接处理图像的GPT-4o以及经过简化处理的StructRAG版本。通过带有Holm–Bonferroni校正的配对自举检验,这些改进在\(p < 0.01\)的水平上具有统计学显著性。这些研究结果表明,StructRAG在处理诸如网状图和混合图这类复杂且含义模糊的图表时,能够提供更可靠的解读结果。总体而言,该框架有望成为STEM教育中用于基于图表的评估与反馈的结构认知型辅助工具。
人工智能驱动的辅导系统快速发展,改变了教育环境,但这些系统在准确解读STEM领域中常见的复杂工程图表方面仍面临巨大挑战,比如电路图和网络拓扑结构图。现有方法往往难以识别空间关系并发现缺失的连接,这主要是由于现实世界中的图表本身极为复杂,从而限制了其在基于图表的评估中的有效性。为解决这一问题,我们提出了StructRAG这一框架,它将视觉解析与模式级结构推理相结合,以提升图表解读能力。我们的方法整合了基于OCR的视觉识别技术、大型语言模型以及图模式检索功能,从而使系统能够识别缺失的连接、纠正结构错误,并提供具有结构认知能力的反馈。我们在1,650道与STEM相关的题目上对StructRAG进行了测试,结果显示其整体问题级准确率为89.3%,边缘级F1分数的微观平均值为93.0%,性能优于OCR+CV、仅使用GPT-4处理图形的方案、直接处理图像的GPT-4o以及经过简化处理的StructRAG版本。通过带有Holm–Bonferroni校正的配对自举检验,这些改进在\(p < 0.01\)的水平上具有统计学显著性。这些研究结果表明,StructRAG在处理诸如网状图和混合图这类复杂且含义模糊的图表时,能够提供更可靠的解读结果。总体而言,该框架有望成为STEM教育中用于基于图表的评估与反馈的结构认知型辅助工具。