今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

NCERT教材对齐的RAG检索增强生成评估基准:NCERT-RAG-Eval框架设计与实证分析

《Scientific Reports》:Benchmarking retrieval strategies for curriculum-aligned retrieval-augmented generation using NCERT-RAG-Eval STEM textbooks

【字体: 大 中 小 】 时间:2026年09月19日 来源:Scientific Reports 4.9

编辑推荐:

   摘要基于大语言模型的辅导系统,除非以可信的教育材料为基础,否则存在产生错误或幻觉解释的风险。我们提出了NCERT-RAG-Eval,这是一个与课程对齐的基准,用于评估检索增强生成(RAG)技术与官方NCERT教材的对比效果,这些教材是印度STEM教育中应用最广泛的书籍。该框架

  

摘要

基于大语言模型的辅导系统,除非以可信的教育材料为基础,否则存在产生错误或幻觉解释的风险。我们提出了NCERT-RAG-Eval,这是一个与课程对齐的基准,用于评估检索增强生成(RAG)技术与官方NCERT教材的对比效果,这些教材是印度STEM教育中应用最广泛的书籍。该框架索引了一个包含237个块的NCERT语料库,涵盖五个章节,并从召回率、精确率和忠实度三个方面比较了词汇检索(BM25)、密集语义检索(FAISS, all-MiniLM-L6-v2)和混合检索(倒数排名融合)。在涵盖运动、光、电和磁效应的88个金标准标注问题上,混合检索表现最佳(召回率0.818,精确率0.348),FAISS紧随其后(0.807,0.341),而BM25明显落后(0.682,0.280);在改写后的子集上,混合检索的召回率没有下降,而FAISS的下降幅度最大。使用非重复的干扰内容扩展语料库时,即使语料库规模扩大至原来的四倍以上,精确率也基本保持不变,这与基于重复扩展时出现的急剧下降形成对比。在一项使用开源大语言模型(Llama-3.1-8B)的小型生成级试点研究中,基于原始40题运动专题基准的测试发现,闭卷生成的准确性(94.9%)高于基于RAG的生成(82.5%),尽管在该样本量下这一差异不具统计学显著性;RAG的错误可追溯至碎片化的块边界、文本提取伪影、误导性检索以及算术失误,而非检索总体上无用。该基准、问题集和流程已公开发布,以支持关于可信AI辅助学习的可重复研究。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:检索增强生成|NCERT教材|STEM教育|大语言模型|幻觉风险|教育评估基准

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号