动态RAG与混合检索技术：一种提升大型语言模型鲁棒性的新方法，同时有助于防止幻觉现象的出现

《Neurocomputing》：Dynamic RAG with hybrid retrieval: A novel approach to robust LLMs and hallucination prevention

　　**摘要**
检索增强生成（Retrieval-Augmented Generation, RAG）模型已成为使语言模型利用外部信息的一种流行方法。然而，RAG模型寻找和使用这些信息的方式还不够先进，这可能导致问题，如获取错误信息或编造内容（即“幻觉”现象）。为了解决这些挑战，本文提出了一种新颖的RAG系统，该系统采用混合检索技术来提升信息收集效率并优化结果。此外，它引入了一种基于熵的动态置信度测量机制，该机制能够根据具体问题进行适应，从而选择最合适的信息量。通过整合来自Wikidata的数据，该系统旨在提高提供的答案的准确性。这种新方法旨在减少幻觉现象，提供更加准确和相关的答案。在六个大型语言模型（LLMs）上的实证评估表明，该系统对于容量较小的模型尤其有效；特别是Llama-4在答案正确性方面显示出统计学上的显著改进。尽管不同模型的性能有所差异，但该框架在大多数LLMs的答案相关性方面始终优于AutoRAG基准模型和基于置信度的RAG模型。通过有效利用结构化知识和查询自适应过滤，所提出的系统在防止幻觉和事实基础方面提供了更加稳健的方法。

**引言**
大型语言模型（LLMs）在多种任务中展现了前所未有的能力，包括文本生成、复杂问题回答和信息检索。然而，LLMs在处理大型上下文时存在局限性，这导致它们过度依赖预训练的知识。这一限制不仅限制了它们有效管理长篇对话的能力，还增加了产生幻觉的可能性——即模型生成的事实不正确或无意义的信息。在这种情况下，幻觉指的是模型产生的内容在事实上不准确、具有欺骗性或完全虚构。当模型生成缺乏实际数据或知识库支持的陈述或内容时，就会出现这些不准确性，导致看似合理但实际上错误或无意义的回答。幻觉有可能损害模型输出的可靠性，并显著影响其生成真实和连贯信息的能力。为了提高LLMs生成的回答的准确性，检索增强生成（RAG）系统成为了一种有前景的解决方案。这些系统主要通过为模型提供外部信息来增强事实准确性，从而扩展了预训练阶段灌输的知识。RAG系统的关键优势在于它们能够扩大LLMs的有效上下文范围，这是通过信息检索组件在响应生成过程中检索相关外部信息来实现的。RAG系统的核心由两个基本组件组成：检索器和生成器模块。本研究重点关注改进RAG模型的检索阶段，并提出了以下研究问题：如何优化RAG系统中的检索过程以增强上下文检索？当前的检索方法是否适合这项任务？虽然已经提出了一些改进RAG检索的技术，包括分块策略和查询扩展，但这些方法会增加计算负担，并可能检索到不相关的信息。此外，很少有方法解决基于置信度的文档选择或自适应检索参数调整的问题，这也是本研究的动机。

**研究背景**
受这一想法的启发，[16] 开启了RAG系统研究的新方向，提出了一种集成自适应检索和上下文感知置信度评分的综合性框架。然而，他们的研究揭示了一些局限性，包括确定最佳检索文档数量、有效利用不同置信度得分的上下文以及动态调整检索参数。为了解决静态检索的局限性以及缺乏事实基础的问题，本文提出了一个多方面的RAG框架，该框架整合了混合密集-稀疏检索、基于熵的动态阈值和Wikidata的事实基础。与依赖固定置信度得分的现有方法不同，所提出的方法能够根据具体查询的模糊性和模型特性动态调整提供给模型的上下文。

**实证评估**
在六个大型语言模型（LLMs）上的实证评估表明，该系统特别适用于容量较小的模型。定量结果显示，整合混合检索和动态阈值显著提升了性能；特别是Llama-4在答案正确性方面取得了统计学上的显著改进。尽管不同模型的受益程度有所不同，但该框架在大多数测试模型的答案相关性方面始终优于AutoRAG [8] 和基于置信度的RAG [16] 基准模型。通过利用Wikidata的结构化知识和查询自适应过滤，我们的系统比传统的优化RAG配置提供了更稳健和灵活的幻觉预防和事实基础解决方案。

**本文结构**
本文的其余部分组织如下：第2节介绍了与检索改进相关的最新研究；第3节介绍了提高RAG系统稳健性和LLMs抗幻觉能力的方法；第5节概述了在结合GPT-3.5、GPT-4、Mistral、Llama 3、Llama 4和DeepSeek的RAG模型中变化检索文档数量和置信度阈值时的实证研究；第6节对结果进行了讨论；第7节总结了本研究。

**相关研究**
尽管RAG系统在解决幻觉问题方面取得了显著进展，但它们在检索阶段仍存在某些局限性，尤其是在选择检索文档数量和利用低置信度上下文方面，这可能导致错误或不精确的答案。

**提出的方法**
本节介绍了所提出的增强型检索增强生成（RAG）框架，这是一种旨在提高语言模型回答的准确性、可靠性和事实基础的新方法。该方法的核心是一个改进的检索过程，其中整合了三项关键创新：混合检索、动态置信度阈值和通过Wikidata的知识丰富。如图1、图2、图3所示，这些组件协同工作以解决相关问题。

**Wikidata知识整合**
为了进一步提高检索到的上下文的事实准确性、完整性和一致性，并减轻语言模型生成中的幻觉问题，我们整合了来自Wikidata的结构化知识[27]，这是一个大型、免费的合作知识图谱。

**实证研究**
本节详细介绍了评估检索增强生成（RAG）系统改进的研究设置和结果。具体而言，我们旨在评估所提出的混合检索机制、动态置信度阈值和Wikidata整合对生成响应质量的影响。本研究使用了六个大型语言模型（LLMs），即GPT-3.5、GPT-4 [2]、Mistral [4]、Llama 3 [10]、Llama 4和Deepseek R1，并在全面测试环境中进行了评估。

**关键发现的解释**
基于该领域之前的研究，本研究探讨了RAG系统的改进措施，重点关注检索过程的改进。所提出的工作特别研究了在RAG系统中结合混合检索、动态置信度阈值和知识整合的潜在好处。与AutoRAG [8] 和基于置信度的检索 [16] 的比较分析突出了现有方法的局限性，并强调了本研究的相关性。

**结论**
本文提出了一种改进型RAG系统，该系统具备混合检索、动态置信度阈值和Wikidata整合功能。在六个LLMs中，我们观察到每个组件的改进效果，其中Llama-4取得了统计学上的显著收益。我们的主要贡献包括：(i) 一种改善上下文覆盖范围的混合密集-稀疏检索机制；(ii) 一种根据查询模糊性调整过滤严格度的基于熵的动态阈值；(iii) 用于增强事实基础的轻量级Wikidata整合。

**伦理**
本研究不涉及人类参与者，所有分析的数据均公开可用。

**代码可用性**
用于重现所有实验的完整可执行笔记本可在以下地址获得：https://github.com/jeandecian/dynamic-rag-hybrid-retrieval
该笔记本也可以直接在Google Colab上运行：https://colab.research.google.com/github/jeandecian/dynamic-rag-hybrid-retrieval

**作者贡献声明**
Jean Decian：软件设计、验证、撰写-审稿与编辑、数据整理、调查、初稿撰写；Chaima Njeh：初稿撰写、方法论设计、数据整理、概念构思、软件开发；Ha?fa Nakouri：审稿与编辑、验证、监督、项目管理、方法论设计；Fehmi Jaafar：验证、监督、项目管理、方法论设计、资金筹措。

**资助**
本研究得到了加拿大自然科学与工程研究委员会（NSERC Discovery Grant）的支持。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Fehmi Jaafar表示获得了加拿大自然科学与工程研究委员会的财务支持。如果还有其他作者，则他们声明没有已知的可能影响本文所述工作的财务利益或个人关系。

**作者信息**
Jean Decian | Chaima Njeh | Ha?fa Nakouri | Fehmi Jaafar
加拿大魁北克大学Chicoutimi分校