EPRAG:面向多源企业检索增强生成中动作选择问题的认识论策略框架

《Knowledge-Based Systems》:EPRAG: An epistemic policy framework for action selection in multi-source enterprise retrieval-augmented generation

【字体: 大 中 小 】 时间:2026年08月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   •EPRAG将企业RAG框定为一个认识论行动选择问题。 •六状态分类法将证据诊断与响应选择区分开来。 •反事实应答性区分了澄清与弃权。 •确定性策略优于强行动自适应基线。 •评估涵盖公共基准、分类法盲审、GPT-5以及客服数据。 引言 检索增强生成(RAG)已成为将大型语

  

•EPRAG将企业RAG框定为一个认识论行动选择问题。
•六状态分类法将证据诊断与响应选择区分开来。
•反事实应答性区分了澄清与弃权。
•确定性策略优于强行动自适应基线。
•评估涵盖公共基准、分类法盲审、GPT-5以及客服数据。

引言

检索增强生成(RAG)已成为将大型语言模型(LLM)锚定在外部知识上的主导范式[1]。该范式已从研究原型迅速发展至工业知识管理[2]、建筑工程[3]、智能制造[4]和工程设计[5]等领域的实际部署。然而在企业部署中,运营环境与评估标准RAG流水线的研究环境存在显著差异。一个为企业查询服务的系统可能同时检索到实时数据库视图、六个月前的政策文档、面向用户的wiki定义以及访问受限的合规说明。这些来源并非可以互换:它们在新鲜度、权威权重、领域适配性和访问权限方面各不相同。将它们视为扁平检索池,仅基于标量相似度进行选择或融合,会产生看似流畅且连贯但在认识论上缺乏依据的响应[6], [7]。

这种脆弱性不仅是检索质量问题。即使所有相关来源都被正确识别,系统也面临一个决策论挑战:在面对可用证据的特定认识论配置时,应当采取何种行动?当来源彼此佐证时,融合是安全的。当某一来源在权威性和新鲜度上占据主导时,优先排序是合适的。当来源之间存在不可调和的冲突时,任何回答都不安全,系统应当弃权或请求澄清,而不是编造一个解决方案。当前的RAG架构,包括Self-RAG [8]和FLARE [9]等自适应检索方法,提高了检索的选择性,但并未为此完整决策空间提供结构化的策略。

近期工作开始更系统地研究检索证据中的冲突问题。MADAM-RAG [10]使用多智能体辩论来解决歧义并抑制检索文档中的错误信息。CARE-RAG [11]在检索后阶段应用冲突感知摘要。ConflictQA基准[12]考察文本文档与知识图谱之间的跨来源冲突。DRAGged Into Conflicts [13]为网络搜索RAG引入了人工标注的冲突类别。然而,这些贡献存在一个关键局限:它们主要关注如何在生成步骤内解决冲突,而不是是否在何种认识论条件下回答以及每种响应模式是否合适。弃权与澄清分支仍然混淆或缺失。与此同时,AbstentionBench [14]表明,即使是前沿LLM,弃权仍是一个未解决的问题,其中反直觉的发现是推理微调平均降低了弃权能力24%,强调了仅凭模型规模无法假定具备拒绝回答的能力。

本文提出EPRAG(认识论策略RAG),一个将多源企业RAG视为两阶段认识论决策问题的框架。在第一阶段,EPRAG沿着六个类别对检索到的来源包进行联合认识论状态分类。在第二阶段,一个确定性行动策略根据该状态以及一个新颖的反事实应答性测试来选择五种行动之一,该测试操作化了在提出目标性澄清以使答案可推导与弃权(当不存在此类澄清轮次时)之间的边界。

我们将本文的贡献组织为六个有范围界定的主张,从核心概念新颖性到支持性验证依次排列。首先,我们将EPRAG形式化为多源企业RAG的两阶段认识论决策框架,其中六状态分类法将状态识别与响应选择分离(第3节)。其次,我们将反事实应答性定义为澄清与弃权之间的操作边界,同时明确将已实现的LLM/NLI过程视为一种近似而非符号多跳可推导性(第3.3节反事实应答性,第4.4节反事实应答性模块)。第三,我们引入了一个确定性且可审计的行动策略,将认识论状态和应答性判定映射为五种响应行动(第3.4节)。第四,我们包含了五维溯源分解,主要定位为可审计性机制,其对原始行动准确性的直接效应取决于基准且为次要因素(第9.6节消融研究,第9.12节溯源解释质量)。第五,我们提供了可复现的评估包,包括基于Spider 2.0 [15]和BIRD [16]构建的两个公共基准改编、一项分层的n=400人工裁决研究、基准-方法循环性分析、分类法盲审的公共审计以及结构化的GPT-5评委基线(第7节基准设计,第9节结果)。第六,我们添加了范围界定的外部和稳健性证据:两个小规模生态有效性试点、一个单站点真实企业客服评估(n=400)以及适配器敏感性、应答性候选/阈值敏感性、延迟、骨干网络和聚合规则的稳健性研究(第9.13–9.19节)。

主要实证发现有三点。第一,EPRAG在公共基准改编上保持强劲(91.7%–96.8%的行动准确率)以及在单站点客服队列中(76.0%)。第二,分类法盲审的公共审计表明行动空间对独立标注者可解释(93.5%一致率,κ=0.916),且EPRAG在85.0%的案例中与最终可信标签一致。第三,在相同查询-来源包和行动定义上运行的结构化GPT-5评委基线,过度选择了弃权,与标注行动的对齐程度不如显式的EPRAG策略。

有几个范围边界应从一开始予以注意。核心基准改编使用受控冲突叠加而非自然涌现的组织分歧;我们通过人工裁决、分类法盲审标注、结构化GPT-5评委压力测试、生态试点和真实客服队列来应对,而多组织企业日志验证仍是未来工作。该框架主要在基于文本到SQL衍生的企业证据包上评估;生态试点和单站点客服队列提供了外部范围检查。这些注意事项将在第11节中详细讨论。

本文其余部分组织如下。第2节回顾相关工作。第3节形式化问题。第4节提出EPRAG框架。第5节提供算法规范。第6节记录统计检验程序。第7节详细阐述基准设计。第8节描述实验设置。第9节报告所有定量结果。第10节提供讨论。第11节记录局限性。第12节总结。

章节片段

检索增强生成

Lewis等人[1]的基础性RAG框架将参数化LLM知识与针对外部文档的非参数化密集检索相结合。随后的Naive RAG、Advanced RAG和Modular RAG分类法逐步解决了检索粒度、融合策略和自适应检索方面的局限[17]。Self-RAG [8]训练模型输出特殊反思令牌,指示何时需要检索以及检索到的段落是否相关或支持,这是一个迈向

来源包与溯源分解

对于查询q,令S(q)={s1,…,sn}表示检索到的或暴露的来源集合。每个来源si由一个五维溯源元组表示:pi=(τi, αi, κi, ηi, πi),其中τi∈[0,1]表示新鲜度(归一化的反向年龄),αi∈[0,1]表示权威性(组织层级中的层级排名),κi∈[0,1]表示佐证(支持同一主张的其他层级来源的比例),ηi∈[0,1]表示查询特定适配性(一个混合BM25和密集检索分数,min-max

EPRAG框架

设计理念。EPRAG不是一个训练过的神经架构或答案生成模型;它是一个放置在生成之前的可执行认识论决策协议。其作用是决定针对检索到的来源包哪种响应行动是合适的。EPRAG是一个围绕单一形式对象组织的模块化架构:由公式(5)定义的确定性行动策略A(q,S)。策略之前的每个组件都产生A(q,S)所需的输入:认识论状态E(q,S)

算法规范

算法1展示了完整的EPRAG推理过程。在认识论分类器输出和应答性模块判定条件下,算法是确定性的,除组件模块本身外没有学习到的决策边界。

统计检验程序

所有报告的相对于基线的改进均使用适用于配对基准评估的非参数统计检验进行评估。本节详细记录这些程序;第9节报告数值结果。

设计理念

用于企业RAG评估的公共基准面临一个根本张力:真正自然主义的企业数据是专有的,而合成基准可能缺乏生态有效性。EPRAG通过使用公共基准脚手架来解决这一问题,利用已有的企业风格评估资源作为结构基础,并在其上叠加受控的冲突、溯源和政策场景。这种方法在保持现实查询的同时提供可复现性和透明度

基线

我们将EPRAG与八个家族的基线进行评估。朴素生成基线包括vanilla单源RAG和朴素多源融合。来源偏好启发式包括新鲜度优先、权威性优先和多数投票。退化的回答策略包括总是融合和总是回答。基于阈值的弃权将一个标量置信度阈值应用于决定回答还是弃权,代表了高弃权率任务中最具竞争力的实用基线

主要跨基准结果

表3报告了主要跨基准结果。图2以视觉方式呈现这些结果。在Spider2衍生的基准上,EPRAG达到91.7%的行动准确率和93.8%的认识论准确率,比最强的行动基线(置信度阈值弃权,56.9%)高出+34.8个百分点。在BIRD衍生的基准上,EPRAG达到96.8%的行动准确率和83.3%的认识论准确率,比最强的行动基线(50.0%)高出+46.8个百分点。两个

结果支持的内容

结果支持五个实证主张。

主张1

两阶段决策策略(认识论分类后接确定性行动选择)在两个基准上均优于所有评估的基线方法。与最强的行动自适应基线(MADAM-RAG-Action)相比,在BIRD衍生上的优势为+18.4个百分点,在人工裁决子样本上为+18.3个百分点,在人工标注真值下统计显著(p<0.001)。如第9.10节与强行动自适应

局限性

尽管评估范围广泛,但有几项局限性界定了结果所支持的范围。

(1) 受控的公共基准构建。Spider2和BIRD衍生的评估是受控的基准改编,而非自然发生的企业分歧。其价值在于可复现性和压力测试覆盖;其局限在于冲突、不充分性和政策场景被叠加在公共基准结构之上。外部生态试点、客服

结论

我们提出了EPRAG,一个用于多源企业RAG行动选择的可执行认识论策略框架。主要贡献不是新的答案生成器或训练过的神经模型,而是一个形式化的、可测试的决策策略基线:六状态证据分类法、对澄清-弃权边界的近似反事实应答性解释,以及从认识论条件到五种响应行动的确定性映射。

核心信息是企业RAG应该

CRediT作者贡献声明

Ismail Hakki Kinalioglu:写作 – 审阅与编辑,写作 – 初稿撰写,可视化,验证,软件,资源,项目管理,方法论,调查,形式化分析,数据整理,概念化。

资助

本研究未收到公共、商业或非营利部门的任何资助机构的具体拨款。

利益冲突声明

作者声明没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Ismail Hakki Kinalioglu
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号