RADE：一种基于责任意识的解码证据方法，用于实现鲁棒的检索增强生成

《Expert Systems with Applications》：RADE: Responsibility-Aware Decoding of Evidence for Robust Retrieval-Augmented Generation

　　### 摘要
检索增强生成（RAG）方法使语言模型能够利用外部检索到的段落，但在解码过程中通常将所有检索到的证据视为同等可靠。这种对证据不加区分的解码方式使RAG系统容易受到错误、冲突或误导性段落的影响。现有的基于归因的防御机制主要依赖于标量影响分数，难以区分有害的高影响力证据与对多跳推理至关重要的支持真相的桥梁段落。我们提出了责任感知解码（RADE），这是一种无需训练的框架，适用于固定生成器的RAG系统。RADE使用两个互补的责任坐标来表示每个检索到的文档：基于路径的条件化有符号影响和基于共识的语义风险方向。这使得可靠性感知的上下文组织（RACO）成为可能，这是一种软控制机制，可以在保留有用的高影响力桥梁文档的同时抑制有害证据。我们还引入了责任中心证据诊断（RCED），这是一种用于评估文档角色的机制级协议。在四个基准测试中，三种不可靠证据的设置、三种生成器框架以及一个稀疏和两个通用领域的密集检索器中，RADE在评估的设置中表现出一致的鲁棒性-实用性模式。在考虑了防御意识的灰箱语义伪装攻击下，RADE保持了更高的干净度和桥梁实用性。RADE在3.9倍的顺序单GPU延迟开销下保留了79.8%的高影响力支持真相的桥梁文档。

### 引言
检索增强生成（RAG）（Lewis等人，2020年）已成为在知识密集型和高风险应用中部署大型语言模型（LLMs）的广泛采用的范式，包括临床决策支持、法律文档分析和金融预测（Fan等人，2024年；Neha, Bhati, & Shukla，2025年；Xu等人，2024年）。通过将固定生成器条件化为从外部语料库中检索到的段落，RAG将事实知识与模型参数分离，从而实现了更基于事实且最新的响应（Gao等人，2023年）。行业报告进一步表明，RAG现在支持了企业生成式AI部署的很大一部分，特别是在输出可靠性具有法律或临床意义的场景中（Xu等人，2024年）。
RAG的有效性依赖于一个隐含的前提：检索到的证据不仅应该是相关的，而且应该是可信的。然而，在实践中，这一前提经常被违反。对抗性污染可以通过少量精心制作的段落来操纵RAG的输出（Zou, Geng, Wang, & Jia，2025年），而误导性但非对抗性的证据则自然源于语料库的异质性，例如相互矛盾的主张、过时的信息或虽然主题相关但事实不正确的段落（Su, Zhou, Zhang, Nakov, & Cardie，2024年；Zhang等人，2025年）。RGB基准测试表明，即使在没有明确对抗性攻击的情况下，当前RAG系统在40%的误导性证据密度下也会显著下降（Chen, Lin, Han, & Sun，2024a）。
我们将这种脆弱性归因于标准RAG的一个结构特性，我们称之为对证据不加区分的解码。在典型的流程中，检索到的段落被连接成一个扁平的提示上下文，没有明确的文档级控制变量。因此，模型没有直接机制来表示哪些文档正在驱动当前的生成轨迹，它们的影响是有益的还是有害的，或者应该如何调节它们的贡献。如图1左侧所示，这种限制在推理时造成了一个根本性的困境。当检索到的集合包含一个有害文档dP、一个支持真相的文档dT和一个中性文档dN时，标准的RAG解码器实际上将它们平等对待。即使是基于大小的归因方法，如ContextCite（Cohen-Wang, Shah, Georgiev, & M?dry，2024年）和AttriBoT（Liu, Kandpal, & Raffel，2024年），也无法解决这个问题：它们测量每个文档对生成的影响程度，但没有区分这种影响是有益的还是有害的。因此，一个高影响力的支持真相的桥梁段落和一个高影响力的有害段落可能会获得类似的归因分数，尽管它们需要相反的控制决策。在多跳设置中，不加区分地抑制高影响力文档会带来巨大的实用性成本，因为在正确推理中，最具影响力的文档往往正是所需的桥梁段落（Yang等人，2018年）。
现有的防御措施可以大致分为三类，每类都存在重要的差距：
- **检索端强化**——包括联合排名框架（Yu等人，2024年）、学习式上下文过滤（Wang, Araki, Jiang, Parvez, & Neubig，2023年）以及检索时的压缩或选择性增强（Xu, Shi, & Choi，2023年）——这些方法可以降低有害或低价值证据进入检索集的可能性，但一旦这些证据已经传递给生成器，它们提供的补救措施有限。
- **生成端严格控制**，例如RobustRAG（Xiang等人，2024年），通过隔离后聚合处理提供可证明的鲁棒性。然而，由于切断了文档间的信息流，它本质上不适合跨文档推理。我们的实验表明，与普通RAG相比，RobustRAG在2WikiMultiHopQA上的准确率降低了4.5个百分点，这在需要多跳合成的应用中是一个巨大的代价。
- **基于归因的控制**（Cohen-Wang等人，2024年；Liu等人，2024年）表明，留一法影响估计可以识别驱动段落并支持上下文修剪。然而，其局限性更为根本：归因大小是一个标量信号，因此当两个文档都极具影响力时，它无法区分支持真相的桥梁文档和有害文档。这不仅是一个实现问题，而且是仅基于大小的归因的内在限制。

因此，目前还缺乏一种结合影响估计和另一种能够识别文档影响方向的补充信号的框架，而不需要依赖真实答案、任务特定标签或参数更新。据我们所知，没有任何现有的无需训练的方法能够提供这种组合。我们提出了RADE（责任感知解码），这是一种无需训练的框架，通过二维责任表示来解决对证据不加区分的解码问题。如图1右侧所示，RADE为每个检索到的文档分配一个二维坐标（Φ^i+,r^i）。第一个维度是基于路径的条件化有符号影响，用于捕捉文档是通过留一法对数概率变化来促进还是抑制当前答案轨迹的。第二个维度是语义风险方向，用于衡量文档的嵌入与低影响力证据的共识中心点的偏离程度，从而区分更可能有害的高影响力异常文档和更可能有益的高影响力与共识对齐的文档。
在此基础上，RADE实现了可靠性感知的上下文组织（RACO），这是一种连续的软控制机制，具有三个逐步增强的层次：（i）通过降低可靠性权重来重新排名文档，从而缓解位置偏差；（ii）在估计出文档可靠性权重后，可以通过仅文本的封闭源API执行自然语言可靠性标签提示；（iii）对于具有logit访问权限的模型，可以选择性地对高风险文档进行对比解码。这种设计保留了多跳推理所需的跨文档交互，同时选择性地减弱有害影响，达到了使用硬隔离防御或仅基于大小的修剪难以实现的效果平衡。
我们进一步引入了RCED（责任中心证据诊断），这是一种机制级评估协议，具有四个文档级责任标签：支持真相、中性、直接有害和间接误导。该协议能够同时评估归因质量、有害文档的定位以及真相文档的保留。
本文做出了三项主要贡献，每项都针对现有RAG防御措施中的特定差距：
1. 我们将证据不加区分的解码描述为标准RAG的一个结构性推理时失败模式：检索到的段落被作为一个扁平的上下文提供，但生成器没有得到一个文档级控制变量来指示哪些证据正在驱动当前答案以及该影响是有益的还是有害的。这一分析解释了为什么基于大小的归因和仅基于相关性的过滤会将高影响力的桥梁证据与高影响力的有害证据混淆。
2. 我们提出了RADE，它为每个文档分配了两个互补的坐标：基于路径的条件化有符号影响和基于共识的语义风险方向。乘法责任分数根据生成活动来控制语义风险，因此语义上不寻常但在生成上不活跃的段落不会被过度抑制。我们通过RACO实现了这种表示，这是一种结合了可靠性感知的重新排名、与API兼容的可靠性标签和可选的logit访问对比层的连续控制机制。
3. 我们引入了RCED，这是一种文档级诊断协议，可以同时测量有害文档的定位和支持真相的桥梁证据的保留。在四个基准测试中，三种生成器框架、一个稀疏和两个通用领域的密集检索器、污染强度压力测试以及考虑了防御意识的灰箱ALR攻击中，RADE在评估的设置中表现出一致的鲁棒性-实用性模式。在ALR攻击下，RADE保留了更多的干净度和桥梁实用性。我们还提供了正式的局部稳定性结果，并明确识别了在严重污染和语义伪装下的失败模式。

### RADE的新颖性
RADE的新颖性在于它结合了基于路径的条件化有符号影响和基于共识的风险进行干预，而不仅仅是事后的解释。与其基于隔离的防御机制相比，它的主要优势在于保留了跨文档推理；其主要限制是语义风险坐标是基于共识的代理，当低影响力证据池受到严重污染或被攻击者故意伪装时，这种代理可能会减弱。

### 相关工作
我们回顾了与RADE最密切相关的四项工作：RAG中的鲁棒性挑战、检索端强化、生成端防御和上下文归因方法。表1总结了这些方法在几个关键设计维度上的表现。

### RADE框架
本节介绍了RADE，这是一个无需训练的推理时框架，用于在不可靠证据下实现鲁棒的检索增强生成。与标准RAG不同，标准RAG在解码时使用的是一个扁平的检索集而不暴露文档级别的控制，而RADE明确估计每个检索到的文档对当前生成轨迹的责任，并利用这一估计来重新组织解码上下文。

### 实验结果和讨论
我们从五个互补的角度评估了RADE：1) 它是否在不可靠证据下改善了实用性-鲁棒性的权衡；2) 其责任信号是否能够正确地定位有害文档，同时保留支持真相的桥梁证据；3) 观察到的模式是否在不同的生成器框架和检索后端中保持一致；4) 该方法在单GPU和双GPU执行下是否仍然实用；5) 其行为在各种条件下的变化。

### 结论和未来工作
我们确定了证据不加区分的解码是标准RAG的一个结构性推理时失败模式，并提出了RADE，这是一个无需训练的责任感知证据控制框架。RADE结合了基于路径的条件化有符号影响和基于共识的语义风险，以区分有害的高影响力证据和支持真相的桥梁证据，并通过RACO实现了这一双重信号，这是一个连续的软控制机制，用于重新排序和标记检索到的证据。

### 未引用的引用
表B2、表C2、表C3、表C5、表C6、表D5和G.25。

### CRediT作者贡献声明
Li Yin：方法论；概念化；撰写 - 原稿
Yanqi Cheng：数据管理；软件；撰写-审阅&编辑
Xuefeng Du：调查；验证
Zhen Wang：可视化；资源管理
Yuduo Zheng：可视化；数据管理
Fengqi Li：资金获取；项目管理；监督

### 竞争利益声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。