CPA-RAG:大语言模型中检索增强生成的隐蔽投毒攻击

《Expert Systems with Applications》:CPA-RAG:Covert Poisoning Attacks on Retrieval-Augmented Generation in Large Language Models

【字体: 大 中 小 】 时间:2026年09月21日 来源:Expert Systems with Applications 9.4

编辑推荐:

   • 提出了 CPA-RAG,一种针对 RAG 系统的隐蔽灰盒投毒攻击。 • 结合多模型提示和基于检索器的剪枝以提高效率。 • 在 8 个大语言模型上实现了 0.89 的成功率,优于基线模型。 • 在联合防御设置下,展示比黑盒方法高出 14.5% 的攻击成功率 (ASR)。

  

• 提出了 CPA-RAG,一种针对 RAG 系统的隐蔽灰盒投毒攻击。
• 结合多模型提示和基于检索器的剪枝以提高效率。
• 在 8 个大语言模型上实现了 0.89 的成功率,优于基线模型。
• 在联合防御设置下,展示比黑盒方法高出 14.5% 的攻击成功率 (ASR)。

Introduction
检索增强生成 (RAG) (Chen, Lin, Han, Sun, 2024, Edge, Trinh, Cheng, Bradley, Chao, Mody, Truitt, Metropolitansky, Ness, & Larson, Fan, Ding, Ning, Wang, Li, Yin, Chua, Li, 2024, Lewis, Perez, Piktus, Petroni, Karpukhin, Goyal, Küttler, Lewis, Yih, Rockt?schel, et al., 2020, Lyu, Li, Niu, Xiong, Tang, Wang, Wu, Liu, Xu, Chen, 2025, Salemi, Zamani, 2024, Xiong, Jin, Lu, Zhang, 2024, Zhao, Liu, Yang, Miao, 2025) 通过补充推理期间检索的外部文档,增强了大语言模型 (LLMs),如 GPT-4 (Achiam et al., 2023)、LLaMA2 (Touvron et al., 2023) 和 DeepSeek (Liu et al., 2024)。RAG 系统已被广泛应用于金融 (Yepes, You, Milczek, Laverde, & Li, Zhang, Yang, Zhou, Ali Babar, Liu, 2023, Zhao, Singh, Bhathena, Ramos, Joshi, Gadiyaram, Sharma, 2024)、法律 (Hou, Weller, Qin, Yang, Lawrie, Holzenberger, Blair-Stanek, & Van Durme, Pipitone, & Alami, Wiratunga, Abeyratne, Jayawardena, Martin, Massie, Nkisi-Orji, Weerasinghe, Liret, Fleisch, 2024) 和医疗 (Alkhalaf, Yu, Yin, Deng, 2024, Wang, Ong, Wang, Ong, Cheng, Ong, 2024a, Zhao, Liu, Yang, Miao, 2025) 等领域,提供了改进的事实依据和访问最新知识的能力。然而,其开放性引入了新的安全风险。恶意攻击者 (Choi, Kim, Cho, Jeong, & Chang, Shafran, Schuster, Shmatikov, 2024, Sui, Zou, Geng, Wang, Jia, 2025) 可以将对抗性文档注入论坛和博客等可访问的来源,在没有内部访问权限的情况下微妙地操纵模型输出。至关重要的是,与知识锁定在参数内的纯 LLM 或仅对网络文档进行排名的传统搜索引擎不同,RAG 的双重阶段特性创造了一个独特的威胁面,攻击者可以利用操纵的内容同时破坏检索和生成。

虽然 PoisonedRAG (Zou et al., 2025) 等具有影响力的工作证明了执行此类投毒攻击的理论可行性,但其实际有效性仍受到安全防御的严重制约。在生产环境中,RAG 流水线通常采用预处理过滤器来保护知识库的完整性。这些包括基于困惑度的过滤,用于识别语义不连贯的序列,以及基于重复/模式的移除,用于检测重复或高度异常的结构。如图 1 所示,现有方法在这些防御下的性能差异显著。具体来说,在全面防御下,PoisonedRAG 白盒方法的平均攻击成功率 (ASR) 小于 0.1,而其黑盒对应方法实现的平均 ASR 小于 0.7。

对这些失败的分析揭示了当前攻击构建与防御逻辑之间的结构性不匹配。如图 2 所示,PoisonedRAG (Zou et al., 2025) 将对抗性文档解耦为独立的检索和生成组件,这导致了不同的漏洞。在白盒设置中,用于检索概率的基于梯度的优化通常产生语义不连贯的标记序列,很容易被困惑度过滤器检测到。相反,黑盒方法通常直接将目标查询作为检索锚点前置于生成响应之前。这种机械拼接导致不自然的语言模式,经常被去重和基于模式的防御标记。这些局限性限制了现有攻击在防御环境中的鲁棒性。自然而然地,这引出了一个关键问题:是否可能设计一种保持语义流畅性和结构自然性的投毒攻击,以便在现实世界中有防御的 RAG 场景中保持有效?

为了解决这个问题,我们引入了隐蔽投毒攻击 (CPA),一种针对检索增强生成 (RAG) 系统的灰盒投毒框架。CPA 的动机源于白盒和黑盒 RAG 攻击之间的实践差距。白盒攻击通常需要访问模型参数、梯度、检索器内部或私有索引,这对于闭源商业 RAG 服务来说是不现实的。相比之下,纯黑盒攻击依赖于通用迁移或盲交互,因此对齐投毒文档与目标系统的能力有限。CPA 考虑了一种中间的灰盒设置:攻击者无法访问受害者端的内部参数或私有索引,但可以使用有限的可观察交互来构建影子组件。当模型族指纹识别成功时,CPA 会选择更接近的影子模型以提高目标感知优化。当指纹识别失败或无法探测时,CPA 回退到默认影子模型,并通过剩余的优化流水线构建投毒文档。

实际 RAG 投毒中的关键挑战在于,成功的投毒文档必须同时满足多个约束。第一,它必须可被目标检索器在受害者查询下检索。第二,一旦包含在检索上下文中,它必须引导生成器趋向攻击者指定的目标答案。第三,它必须保持足够自然和连贯,以避免简单的表面级过滤或人工检查。这些目标并非相互独立。仅为检索优化的文本可能会暴露显式的查询 - 答案模式,而仅为流畅性优化的文本可能无法被检索或可能无法影响生成。因此,CPA 在统一的迭代过程中协调可检索性、欺骗性和隐蔽性,用于投毒文档的生成和细化。

基于这一 formulation,我们将 CPA 实例化为 CPA-RAG,一个由初始化、生成和优化模块组成的多阶段攻击框架。初始化模块收集目标问题、目标答案以及关于目标 RAG 系统的可用可观察信息。当允许系统探测时,CPA-RAG 使用指纹识别来支持目标感知的影子模型选择;否则,它使用默认影子模型。生成模块使用多样化的提示和 LLM 产生初始投毒文档候选。优化模块随后通过迭代重写、多模型生成、影子检索器评估、相似度评分和剪枝来优化这些候选。在此过程中,影子检索器被用作反馈信号,而不是作为独立的评分启发式方法,允许 CPA-RAG 选择更好地满足检索和生成阶段攻击要求的候选。

我们在标准 RAG 基准、多个检索器、不同的 LLM 和受控商业平台工作区上评估了 CPA-RAG。我们使用 top-k 检索深度的攻击成功率 (ASR@k) 作为主要的生成阶段指标,并使用综合攻击成功率 (CASR) 作为补充的跨 k 鲁棒性指标。结果表明,在与基线相同的实验条件下,CPA-RAG 取得了强大的攻击效果。在 Natural Questions (NQ) 上,CPA-RAG 实现了 92% 的 ASR@5、81% 的 ASR@10 和 85% 的 CASR;在 MS-MARCO 上,它实现了 86% 的 ASR@5、76% 的 ASR@10 和 80% 的 CASR。与 PoisonedRAG (Zou et al., 2025) 相比,CPA-RAG 在保持可比检索对齐的同时提高了跨 k 攻击鲁棒性,并且在不同的检索器、LLM 以及受控商业平台工作区(如阿里云百炼、字节 Coze 和 Dify)中仍然有效。在隐蔽性方面,CPA-RAG 实现了比基于模板的基线更低的困惑度和重复率。防御实验进一步表明,当协调的投毒文档已经进入检索上下文时,表面级过滤和生成阶段聚合仍然有限。所有商业平台实验均在受控、隔离的工作区中进行,不影响真实用户或公共知识库。我们还遵循负责任披露和工件发布限制以避免误用。

总之,本工作的主要贡献如下。
• 我们形式化了一个实用的 RAG 投毒灰盒威胁模型,表征了在不同级别目标系统知识下的攻击者能力,并确定了三个基本攻击条件:可检索性、欺骗性和隐蔽性。
• 我们提出了 CPA-RAG,一个通过多模型生成、迭代重写、影子检索器评估、目标答案验证和剪枝来协调可检索性、欺骗性和隐蔽性的闭环优化框架。
• 我们在三个基准数据集和八个 LLM 上评估了 CPA-RAG,展示了卓越的成功率、泛化能力和隐蔽有效性。
• 我们将 CPA-RAG 与表面级、检索上下文和生成阶段防御进行评估,证明了现有防御仍然有限。

Section snippets
Background and Threat Model
在本节中,我们概述了检索增强生成 (RAG) 系统、问题陈述以及我们的威胁模型。

Design Overview
CPA-RAG 的设计动机源于 RAG 投毒的相互依赖需求。成功的对抗性文本应可被目标检索器检索,引导生成器趋向目标答案,并保持足够自然以避免简单过滤。这些需求并非相互独立。仅为检索优化的文本可能会暴露显式的查询 - 答案模式,而仅为自然性优化的文本可能无法被检索或影响生成。为了解决这

Discussion
在本文中,我们引入了 CPA-RAG,一个针对 RAG 系统引发投毒攻击的创新框架。然而,与任何新兴方法一样,有几个重要领域需要进一步探索,以充分实现其在实际应用中的潜力。这些将成为我们未来工作的一部分。

Commercial-Platform Evaluation Boundary。我们的商业平台实验是在隔离的工作区和受控知识库模块中进行的,出于伦理和负责任披露

Related Work
随着 RAG 系统在高风险领域的更广泛部署,其安全漏洞引起了越来越多的关注。现有研究主要关注白盒投毒攻击,其中攻击者通过基于梯度的标记编辑 (例如,Hotflip (Ebrahimi et al., 2017), GCG (Zou et al., 2023))、模型后门或精心制作的查询触发器来操纵检索器或生成器,将有害内容注入检索上下文中。这些白盒方法 (Chaudhari, Severi,

Conclusions
在本文中,我们引入了 CPA-RAG,一个用于研究针对检索增强生成 (RAG) 系统的隐蔽投毒攻击的灰盒框架。CPA-RAG 在无法访问受害者端模型参数、梯度、私有索引或系统提示的情况下运行,并通过影子模型生成、影子检索器反馈和迭代优化构建投毒文档。我们形式化了实际隐蔽投毒的三个关键条件,包括可检索性、欺骗性和

Ethics Considerations
本工作调查了 RAG 系统中的应用级投毒风险。所研究的风险产生于对抗性优化的文档被引入 RAG 应用的可搜索语料库中,随后影响检索和生成。因此,我们的发现被框定为部署端的 RAG 安全风险,而不是底层基础模型的原生漏洞。
我们在授权的研究设置下进行了这项研究,并遵循了负责任披露

Declaration of Generative AI and AI-assisted Technologies in the Manuscript Preparation Process
在本工作准备过程中,作者使用了 Gemini 以改进学术措辞、提高语言自然性并确保稿件的结构连贯性。使用该服务后,作者仔细审查、编辑和验证了内容,以确保其准确性和原始贡献,并对最终发表的文章承担全部责任。

Data and Code Availability
本研究中使用的代码和数据可在 https://anonymous.4open.science/r/cparag-9C58/ 获取。

CRediT authorship contribution statement
Chunyang Li:撰写 – 原稿,软件,方法论,数据整理,概念化。Junwei Zhang:撰写 – 审阅与编辑,方法论,监督,资金获取。Zhuo Ma:撰写 – 审阅与编辑,监督,资金获取。Anda Cheng:撰写 – 审阅与编辑,概念化,资金获取。Yang Liu:撰写 – 审阅与编辑。Xinghua Li:撰写 – 审阅与编辑,资金获取。Jianfeng Ma:监督,资金获取。

Declaration of competing interests
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
Chunyang Li 报告称获得了蚂蚁集团 Co Ltd. 的财政支持。如果有其他作者,他们声明没有已知的竞争财务利益或可能影响本文所报道工作的个人关系。

Chunyang Li|Junwei Zhang|Zhuo Ma|Anda Cheng|Yang Liu|Xinghua Li|Jianfeng Ma
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号