
-
生物通官微
陪你抓住生命科技
跳动的脉搏
NCERT教材对齐的RAG检索增强生成评估基准:NCERT-RAG-Eval框架设计与实证分析
《Scientific Reports》:Benchmarking retrieval strategies for curriculum-aligned retrieval-augmented generation using NCERT-RAG-Eval STEM textbooks
【字体: 大 中 小 】 时间:2026年09月19日 来源:Scientific Reports 4.9
编辑推荐:
摘要基于大语言模型的辅导系统,除非以可信的教育材料为基础,否则存在产生错误或幻觉解释的风险。我们提出了NCERT-RAG-Eval,这是一个与课程对齐的基准,用于评估检索增强生成(RAG)技术与官方NCERT教材的对比效果,这些教材是印度STEM教育中应用最广泛的书籍。该框架
基于大语言模型的辅导系统,除非以可信的教育材料为基础,否则存在产生错误或幻觉解释的风险。我们提出了NCERT-RAG-Eval,这是一个与课程对齐的基准,用于评估检索增强生成(RAG)技术与官方NCERT教材的对比效果,这些教材是印度STEM教育中应用最广泛的书籍。该框架索引了一个包含237个块的NCERT语料库,涵盖五个章节,并从召回率、精确率和忠实度三个方面比较了词汇检索(BM25)、密集语义检索(FAISS, all-MiniLM-L6-v2)和混合检索(倒数排名融合)。在涵盖运动、光、电和磁效应的88个金标准标注问题上,混合检索表现最佳(召回率0.818,精确率0.348),FAISS紧随其后(0.807,0.341),而BM25明显落后(0.682,0.280);在改写后的子集上,混合检索的召回率没有下降,而FAISS的下降幅度最大。使用非重复的干扰内容扩展语料库时,即使语料库规模扩大至原来的四倍以上,精确率也基本保持不变,这与基于重复扩展时出现的急剧下降形成对比。在一项使用开源大语言模型(Llama-3.1-8B)的小型生成级试点研究中,基于原始40题运动专题基准的测试发现,闭卷生成的准确性(94.9%)高于基于RAG的生成(82.5%),尽管在该样本量下这一差异不具统计学显著性;RAG的错误可追溯至碎片化的块边界、文本提取伪影、误导性检索以及算术失误,而非检索总体上无用。该基准、问题集和流程已公开发布,以支持关于可信AI辅助学习的可重复研究。