VG-RAG: 验证门控的检索增强生成

《Scientific Reports》：VG-RAG: verification-gated retrieval-augmented generation

　　

摘要

检索增强生成（RAG）通过基于检索到的段落来条件化输出，从而提升了大语言模型的事实依据性。现有检索增强生成模型的主要缺陷在于其隐含性，即输出基于检索到的段落。如果段落不相关、过时或相互矛盾，生成器会在纠正机制激活之前传播幻觉。我们提出验证门控检索增强生成（VG-RAG），其中系统检索到的信息首先由确定性的预生成验证门控进行净化。VG-RAG从三个方面检查段落的认识论特性：语义相关性、约束感知的内部一致性以及相互印证的一致性。这些方面通过非补偿性乘性门控进行组合，要求所有可靠性阈值必须同时满足。这防止了任何单一的高质量信号克服其他维度信号缺失的情况。任何不满足这些标准的段落将被直接拒绝；满足中等置信度标准的段落则通过基于外部网络的仅限提升的审计进行条件性提升。如果没有段落满足这些标准，系统将完全放弃回答。我们在包含150个查询的HaluEval问答和TruthfulQA基准上进行了实验。VG-RAG的上下文泄漏率比基线RAG低83%（在HaluEval上从0.50\(\rightarrow\)0.09；在TruthfulQA上从0.44\(\rightarrow\)0.08），对于返回响应的查询，VG-RAG的验证纯度介于0.70到0.85之间。一项受波普尔方法启发的证伪测试，通过展示其能够证伪89.3%的反事实声明（95%置信区间：0.83–0.96）同时保持事实陈述完整，验证了主动对抗性网络验证的有效性。一项对照消融研究验证了每个门控组件所针对的失效模式的定性差异，以及非补偿性评分——这既是一种设计选择，也是检索增强生成任务的安全必要条件。代码库：https://github.com/Gopikrish-30/VG-RAG