面向小型语言模型的结构感知图RAG技术:减少幻觉现象并提升专业领域中的多步骤推理能力
《Mathematics》:Structure-Aware Graph-RAG for Small Language Models: Reducing Hallucinations and Improving Multi-Step Reasoning in Specialized Domains
【字体:
大
中
小
】
时间:2026年07月15日
来源:Mathematics 2.3
摘要
获取增强生成(RAG)技术已被广泛用于提升小型语言模型(SLM)的事实依据性。然而,现有的许多检索方法主要依赖查询与文本片段之间的浅层语义相似度。因此,检索到的证据往往较为零散或关联较弱,这会限制多跳推理能力,有时还会导致错误答案的产生。在本研究中,我们提出了幻觉感知多目标蚁群优化(HA-MOACO),这是一种具备结构意识的Graph-RAG框架,能够模拟证据之间的关联,并在图结构中寻找有用的推理路径。该框架首先构建领域知识图谱,识别出与查询相关的若干候选节点。从这些节点出发,运用蚁群优化策略探索可能的证据路径。在此过程中,会同时考虑多种因素,包括语义相关性、节点间的结构连接性以及有助于排除矛盾或可信度较低的证据的可靠性指标。随后,选定的证据路径会被用来为语言模型构建简洁且基于事实的上下文。这一过程有助于保留重要的推理关联,同时减少无关信息的影响。在以推理能力为重点的基准测试中,实验结果表明,与强大的基于图的检索方法相比,所提出的框架可使答案准确率提高约6%,F1值提升约5–6%,精确匹配得分提高约7%。同时,幻觉发生率降低了约40%,检索延迟则减少了约20%。这些结果表明,将结构意识型检索与以可靠性为导向的优化相结合,不仅能够提升SLM的推理质量与事实一致性,还能保持较高的实际应用效率。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号