针对冶金研发知识库的领域特定检索辅助生成方法:一种混合图增强式 approach

《Data》:Domain-Specific Retrieval-Augmented Generation for Metallurgical R&D Knowledge Bases: A Hybrid Graph-Enhanced Approach

【字体: 大 中 小 】 时间:2026年08月28日 来源:Data 2.4

编辑推荐:

  总之,由于实际原因,冶金领域的研发工作在进行信息检索时面临诸多困难:有用的信息很少能仅通过一个关键词来定义。一个与生产相关的问题可能同时涉及到材料等级、工艺流程、缺陷机制、材料属性、测试方法以及数值条件等多个方面。传统的基于检索增强的生成(RAG)流程往往将文档片段视为独立文本,

  
总之,由于实际原因,冶金领域的研发工作在进行信息检索时面临诸多困难:有用的信息很少能仅通过一个关键词来定义。一个与生产相关的问题可能同时涉及到材料等级、工艺流程、缺陷机制、材料属性、测试方法以及数值条件等多个方面。传统的基于检索增强的生成(RAG)流程往往将文档片段视为独立文本,因此可能会错过对工艺监控、故障诊断和工程决策支持至关重要的关联信息。我们在一个受控的合成基准测试中评估了一种能够根据信心水平自适应调整的图增强检索方法,该测试明确了生成和评估的具体规则。该基准测试包含了300条从七部分构成的数据源中生成的异构记录,以及30种材料-工艺-缺陷-属性组合模式,同时还提供了180个查询示例:其中60个是精确匹配的,60个是 paraphrased(意译或释义后的),60个是多步推理得到的。主要测试评估了该方法对不完整结构化元数据的鲁棒性,其中包括10%缺失的元数据和4%错误的分类字段。从原始文档中提取实体和关系并不在本次评估的范围内。我们对BM25、TF-IDF、潜在语义分析、稀疏与密集混合模型、仅基于图的检索方法以及所提出的自适应混合模型进行了对比。在完整的查询集上,所提出的方法取得了MRR = 0.992、Precision@5 = 0.980、Recall@10 = 0.859和nDCG@10 = 0.948的成绩。与稀疏与密集混合模型相比,nDCG@10提高了0.186(提升了24.4%);配对95%自举区间处于0.166–0.206之间,经过Holm调整后的Wilcoxon p值仅为2.59 × 10?29。即使在元数据缺失40%、错误率为16%的恶劣条件下,所提出的方法的平均nDCG@10仍保持在0.791,而仅基于图的检索方法仅为0.650,独立于元数据的稀疏与密集混合模型则为0.762。通过5000次蒙特卡洛分析发现,在512个标记的大小和64个标记的重叠范围内,索引向量和元数据的总大小约为58.70 MB。这些结果展示了该方法在受控条件下的表现,但并不能证明其在实际生产环境中的有效性或生成的答案质量。这类问题需要通过外部专家标注进行验证。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号