综述：基于提示的攻击与防御在大型语言模型中的研究：威胁模型、分类体系及评估实践的系统性综述

《Neurocomputing》：Prompt-based attacks and defenses in large language models: A systematic review of threat models, taxonomies, and evaluation practices

　　摘要：大型语言模型（LLMs）越来越多地被集成到应用程序中，这些应用程序结合了用户提示、检索到的文档、外部文件、工具输出和代理工作流程。这种集成扩大了基于LLM的系统的攻击面，并使得基于提示的攻击成为可能，这些攻击不仅通过直接的用户输入进行，还可以通过推理过程中整合的上下文信息来实现。本文对2023年至2026年2月期间发表的89项关于LLMs中基于提示的攻击和防御的系统文献进行了综述。该综述遵循了Kitchenham的指导原则，并使用PRISMA来构建选择过程。我们引入了一个统一的威胁模型，其中表示直接用户提示，表示系统在推理过程中组装的外部上下文。基于这个模型，我们提出了一个围绕两个轴组织的攻击分类法：攻击面和攻击技术。在选定的89项研究中，40项专门研究攻击，24项专门研究防御，25项同时研究攻击和防御。这产生了65项攻击研究和49项防御研究的集合。研究结果表明，特别是在最近的研究中，从直接提示操纵向上下文介导的攻击发生了转变，包括间接提示注入、工具/代理劫持和基于检索的注入/RET毒化。我们根据它们在流程中的阶段组织了缓解策略：模型前、提示内和模型后。最后，我们将这两个分类法结合起来，以检查防御措施是否位于对抗性负载可见和可操作的阶段。分析显示，防御工作集中在流程的早期阶段，而对上下文介导的、混合的和代理的攻击的可见性有限，揭示了防御措施操作位置与这些攻击进入位置之间的不匹配。这些发现强调了针对现代RET和基于代理的LLM系统需要上下文感知的、多阶段的和动作级别的防御措施。

引言：机器学习的最新进展很大程度上是由模型架构（特别是深度学习）的进步以及模型在参数、数据和计算资源方面的扩展所推动的[8]、[47]、[53]。特别是Transformer架构[99]标志着处理序列数据方式的重大变革，使得模型更加高效和可扩展。基于这一架构，大型语言模型（LLMs）成为主导方法[121]，在文本生成、问答和代码合成等任务中取得了显著性能[22]、[56]、[83]。这一能力推动了它们在现实世界应用中的快速采用[110]，它们越来越多地被用作现代AI系统的核心组件[7]。然而，这种快速采用引入了新的安全风险，因为这些系统通常依赖于开放文本接口，用户可以直截了当地提供输入，或者通过外部来源（如检索到的文档、网页内容或工具输出）间接提供输入[103]。这种交互模型显著增加了攻击面[30]，允许对手通过精心制作的输入影响模型的行为。特别是基于提示的攻击，如提示注入[79]和越狱[108]，利用LLMs对文本输入的敏感性来绕过安全措施并操纵输出，正如OWASP Top 10 for LLM Applications等实际安全框架中所认识到的[73]。图1展示了这种交互流程，显示了对抗性输入可能发生的位置以及可以应用防御策略的位置。尽管人们对LLM安全的关注日益增加，但现有的研究往往缺乏对LLM系统中基于提示的攻击和防御的系统和结构性视角。因此，仍然难以理解这些攻击是如何被描述的，以及防御策略在整个交互流程中的定位。在这项工作中，我们对推理时交互场景下的基于提示的攻击和防御进行了系统综述。我们引入了一个统一的威胁模型，区分了直接用户输入和在推理过程中组装的外部上下文。基于这个模型，我们根据两个主要轴组织基于提示的攻击：攻击面和攻击技术。其他提取的维度，如目标、目标系统、攻击者知识和注入源，也被用来支持分析。我们还将防御策略根据它们在LLM流程中的位置进行了组织，考虑了模型前、提示内和模型后阶段。最后，作为两个研究问题的综合，我们将这两个分类法结合起来，以检查防御措施与攻击面的对齐情况以及覆盖范围的差距。这一综合分析还讨论了评估实践，包括自适应鲁棒性、效用影响、部署假设和可重现性。本文的其余部分组织如下：第2节介绍了LLM推理、基于提示的攻击和现代基于LLM的系统的背景概念。第3节定义了用于区分直接提示操纵和上下文操纵的威胁模型。第4节讨论了相关工作，并将本综述与之前的调查和系统综述进行了定位。第5节描述了系统综述协议，包括搜索策略、研究选择、质量评估和数据提取过程。第6节介绍了基于提示的攻击分类法，第7节介绍了基于提示的攻击的防御策略。第8节结合了这两个分类法，以分析防御覆盖范围和流程对齐情况。最后，第9节总结了主要发现、局限性、研究空白和未来方向。

背景：从安全角度来看，研究LLMs在推理过程中如何处理输入非常重要，因为这种行为对于理解基于提示的攻击至关重要。LLMs通过将输入序列作为统一上下文来处理，所有令牌无论其来源如何都嵌入在一个共享的表示空间中。因此，这些模型不会明确区分来自不同来源或信任级别的指令[5]。这一特性具有重要的...

威胁模型：基于提示的对手被定义为在推理时与大型语言模型（LLM）系统的交互仅限于文本输入的攻击者，反映了LLM系统的实际部署情况。攻击者不直接控制训练数据、模型参数、微调过程、系统日志或内部系统组件。在上下文攻击的情况下，这并不意味着攻击者控制内部检索机制或工具...

相关工作：本节讨论了与推理时基于提示的攻击和防御策略相关的代表性实证研究、调查和系统综述。目标是分析现有研究如何对攻击者假设进行建模，并表示在LLM系统流程中出现的威胁。表1根据关键维度总结了所选研究，并进行了比较，包括推理范围、攻击和防御分类法的使用、威胁建模...

方法论：在这项研究中，我们遵循Kitchenham[50]提出的方法论指南进行了系统文献综述（SLR）。这些指南将综述过程分为三个主要阶段：规划、执行和报告。规划阶段建立了综述协议，包括研究问题的定义、搜索策略、选择标准、质量评估检查表和数据提取表。执行阶段包括...

基于提示的攻击分类法：本节从攻击池中的65篇论文中归纳出了基于提示的攻击分类法，包括40项纯攻击研究和25项攻击和防御研究。该分类法围绕两个分析轴组织。第一个轴是攻击面，它识别了对抗性内容到达模型流程的入口点。第二个轴是攻击技术，它描述了用于操纵该入口点并引发...

基于提示的攻击的防御策略：在本节中，我们提出了针对LLMs中基于提示的攻击的防御策略分类法，重点关注推理时的交互。我们采用流程视角，并根据它们在与模型交互的过程中操作的阶段对防御措施进行分类。具体来说，我们考虑了三个阶段：(i)模型前，在到达模型之前处理输入或上下文信息；(ii)提示内，在生成过程中使用的提示或上下文中采取防御措施；...

攻击和防御的综合分析：本节结合了RQ1和RQ2的发现，以解决本综述的主要研究问题。虽然第6节和第7节分别分析了攻击和防御，但本节通过第3节中定义的威胁模型将这两个分类法联系起来。根据...的结构，我们检查了文献中报告的防御措施与通过直接用户提示或外部上下文进入的攻击之间的对齐情况...

结论：这项系统文献综述分析了在推理时交互场景下大型语言模型中的基于提示的攻击和防御。基于2023年至2026年2月期间发表的89项主要研究，该综述巩固了关于对手如何操纵基于LLM的系统以及防御策略如何尝试缓解这些威胁的证据。该研究基于一个统一的威胁模型，该模型区分了直接用户输入和上下文信息...

作者贡献声明：Victória Guimar?es：写作——审阅与编辑、原始草稿撰写、方法论、正式分析、数据管理、概念化。Débora Medeiros：写作——原始草稿撰写、正式分析、数据管理。Leandro Reis：写作——审阅与编辑、正式分析、数据管理。Hugo Mesquita：写作——审阅与编辑、正式分析、数据管理。Thiago Rocha：写作——审阅与编辑、监督、方法论、概念化。

关于写作过程中生成式AI和AI辅助技术的声明：在准备这项工作时，作者使用了ChatGPT（OpenAI）、Claude（Anthropic）、Gemini（Google）和Perplexity AI来协助语言润色和文本组织。在使用这些工具后，作者根据需要对内容进行了审阅和编辑，并对发布文章的内容负有全部责任。

资助：这项工作得到了巴西工业研究与创新公司（EMBRAPII）的支持。

利益冲突声明：作者声明他们没有已知的可能会影响本文所报告工作的财务利益或个人关系。

Victória Guimar?es在巴西阿马佐纳斯联邦大学（UFAM）获得了计算机工程学士学位和计算机科学硕士学位。她目前是技术发展研究所（INDT）的AI专家。她的研究兴趣包括人工智能、机器学习、大型语言模型和生成式AI安全，重点是基于提示的攻击、推理时的风险、防护措施和基于LLM的模型鲁棒性评估。

Victória Guimar?es|Débora Medeiros|Leandro Reis|Hugo Mesquita|Thiago Rocha
巴西阿马佐纳斯州马瑙斯市技术发展研究所