《Symmetry》:SecurePrompt-IntegrityNet: Prompt-Injection-Resilient Data Integrity Verification for Agentic LLM Networks via Cryptographic Attestation and Activation Monitoring
编辑推荐:
智能体大语言模型(Agentic LLM)网络越来越多地应用于安全关键场景,其中自主智能体调用工具、交换上下文并协调决策。提示注入攻击对这些多智能体流水线仍然构成重大威胁,因为它们可以破坏智能体之间的数据流、绕过指令层级并破坏输出完整性。尽管针对注入提示的防御
智能体大语言模型(Agentic LLM)网络越来越多地应用于安全关键场景,其中自主智能体调用工具、交换上下文并协调决策。提示注入攻击对这些多智能体流水线仍然构成重大威胁,因为它们可以破坏智能体之间的数据流、绕过指令层级并破坏输出完整性。尽管针对注入提示的防御机制和密码学验证模型相关计算的方法已被独立研究,但尚无统一框架以适用于实时智能体部署的协议形式整合这些互补的安全视角。从对称性角度看,安全的智能体间通信要求保持消息在其源端与目标端所接受消息之间的不变完整性关系。因此,良性通信路径表现出一种完整性对称形式,而提示注入或消息操纵则产生不对称状态,其中接收到的载荷、其语义效果或接收模型的内部激活模式偏离可信参考状态。本文提出SecurePrompt-IntegrityNet(SPI-Net),一种结合密码学证明与异常感知激活监控的提示注入韧性数据完整性验证协议。SPI-Net提供三种紧密关联的机制:基于Merkle树的承诺系统,用于验证智能体间交换数据载荷的来源与完整性;分层Mahalanobis评分的激活异常检测器(Activation Anomaly Detector, AAD),用于识别LLM中间表示中的分布偏移;以及信任传播共识(Trust Propagation Consensus, TPC)机制,将密码学与行为证据融合为逐载荷完整性判定。在该框架中,密码学证明模块(Cryptographic Attestation Module, CAM)检验发送方与接收方之间消息级结构对称性是否保持,而AAD检测激活空间中行为对称性的破坏。在三种多智能体基准上针对五种自适应攻击策略的实验表明,SPI-Net实现了96.8%的检测率、1.7%的误报率,相对于无防御基线将攻击成功率降低94.3%,以99.2%的准确率验证数据完整性,并仅引入38 ms的中位每消息延迟。这些结果表明,联合保持密码学完整性对称性并识别激活级不对称性,比单独使用任一验证机制提供显著更强的提示注入韧性。
论文解读
一、研究背景与问题
大语言模型已从单轮问答范式演进为多轮智能体,能够规划任务、调用外部工具并与其他智能体通过共享数据通道交互。这种向智能体化部署的转变——编排器调用工具、检索外部上下文并将子任务委托给其他模型——将攻击面扩展至远超单一提示窗口的范围。从软件工程到医疗保健,智能体LLM流水线正被融入生产流程,安全性已成为系统设计者和用户的首要关注点。
这些流水线必须在两个层面确保安全:智能体间传递数据的完整性,以及智能体对其所获指令的忠实性。提示注入攻击通过将恶意提示嵌入数据载荷、工具输出或检索文档中,同时针对这两个层面,在不改变模型权重的情况下破坏智能体的控制流。密码学证明长期用于可信计算,可验证数据载荷在传输过程中未被篡改。另一方面,近期表示工程与激活空间分析研究表明,有害或异常输入会导致LLM内部表示分布发生可观察的变化。尽管这两个方向各自取得了进展,但目前尚无协议将密码学数据完整性验证与激活级异常监控相结合,以对智能体LLM网络中的提示注入做出快速响应。
该挑战包含三个层面。第一,智能体间通信信道承载自然语言消息,缺乏适合传统输入验证的类型签名,攻击者可在数据中任意位置注入指令。第二,自适应攻击可通过优化对抗后缀击败仅依赖检测的防御,这些后缀在表面层面呈现分布内特征,但改变智能体的深层行为。第三,尽管数据来源的密码学证明具有防篡改特性,但它们无法揭示语法上有效的消息是否包含语义恶意内容。现有方法各有局限:基于博弈论检测的方法不验证数据来源;执行隔离架构无法检测通过合法数据信道传递的注入;指令层级易受基于优化的自适应攻击;零知识证明验证模型推理计算正确性但实时多智能体流水线中逐消息部署成本过高。
二、研究内容与核心贡献
研究人员提出SecurePrompt-IntegrityNet(SPI-Net),一种面向智能体LLM网络的提示注入韧性完整性检查协议。SPI-Net将轻量级Merkle树承诺方案的数据证明与Mahalanobis激活异常检测器相融合,并通过信任传播共识进行证据整合。主要贡献包括:提出统一整合密码学数据证明与激活级异常检测的单一协议;将Merkle树承诺扩展至逐消息级别,实现常数时间篡改检测及跨任意深度智能体链的数据载荷来源追踪;提出计算分层Mahalanobis距离以检测表面级文本分类器无法识别的注入诱导分布偏移;提出通过贝叶斯更新规则在智能体图中传播以生成校准完整性判定的信任传播共识;在三种多智能体基准上针对五种自适应攻击策略评估,达到96.8%检测率、1.7%误报率、94.3%攻击成功率降低及99.2%完整性验证准确率,中位延迟开销38 ms。
三、关键技术方法
研究人员采用三种核心技术方法构建SPI-Net协议。第一,密码学证明模块(Cryptographic Attestation Module, CAM)将消息分词后逐token计算SHA-256哈希构建Merkle树,发送方使用Ed25519私钥对Merkle根签名,接收方重建树并验证签名与链上保管记录,实现常数时间篡改检测与线性深度来源追踪。第二,激活异常检测器(Activation Anomaly Detector, AAD)通过PyTorch前向钩子在选定的8个Transformer层(层8、12、14、16、18、20、24、28)提取均值池化隐藏状态,计算分层Mahalanobis距离,通过学习加权求和聚合为归一化异常分数,并采用指数加权移动平均(EWMA)在线校准良性参考统计量以适应合法分布漂移。第三,信任传播共识(Trust Propagation Consensus, TPC)以均匀先验初始化每条边的信任分数,通过贝叶斯更新规则融合CAM与AAD证据,在智能体图中传播信任并施加衰减项防止陈旧信任,最终根据融合完整性分数与置信阈值做出接受或拒绝判定。实验在AgentDojo(97个任务、629个安全测试用例)、InjecAgent(64个涉及工具返回数据间接注入的任务)和MultiAgentBench(50个深度链协作任务,每链最多8个智能体)三个基准上开展。
四、研究结果
整体性能对比。 在三种基准上,SPI-Net相对于最佳单一基线(DataSentinel)将攻击成功率降低7.9至22.0个百分点,在MultiAgentBench上改进最为显著,体现链上保管验证的价值。DataSentinel在梯度优化后缀攻击下失效,因其表面层面保持良性文本分布;IsolateGPT在MultiAgentBench上检测率降至65–72%且引入45–75 ms开销;Circuit Breakers误报率最高(5.8–7.1%),因其表示重路由对良性代码片段误触发;BlockAgents因区块链共识开销延迟最高(62–75 ms)。
自适应攻击下的检测率。 随着攻击复杂度从朴素拼接提升至自适应工具输出投毒,SPI-Net对全部五种攻击策略均保持95%以上检测率,表明CAM–AAD联合证据在自适应条件下保持有效。
误报分析。 按良性消息类别分析,SPI-Net的误报率显著低于Circuit Breakers(8.3%),证明激活检测器不会对自然非典型内容过度反应。
攻击成功率降低。 相对于无防御配置,SPI-Net平均抑制94.3%的成功攻击。
完整性验证准确率。 在长达8个智能体的链深度下,完整性验证准确率保持在98.5%以上,验证链上保管机制在深层代理链中的可靠性。
延迟开销分析。 SPI-Net实现38 ms中位每消息延迟(p95为52 ms),CPU利用率平均4.3%,GPU增量利用率6.8%。仅监控单一最具判别力层可将Mahalanobis计算从2.1 ms降至0.3 ms,检测率代价约3个百分点。
可扩展性。 在16个智能体网络中检测率为96.1%、完整性验证准确率为98.8%,且与图拓扑无关(环形、星形、近完全图间差异小于0.3个百分点)。消息率200 msg/s时中位延迟从38 ms增至47 ms。
ROC曲线分析。 在AgentDojo上SPI-Net达到0.993的AUROC。
消融研究。 移除AAD使检测率从97.2%降至89.1%;移除CAM使完整性验证准确率降至87.6%(下降11.7个百分点)且误报率升至4.8%;移除TPC使F1从97.8%降至94.4%。Mahalanobis检测器(AUROC 0.993,2.1 ms)优于OC-SVM(0.971,4.2 ms)、孤立森林(0.965,3.8 ms)和单层自编码器(0.978,6.1 ms)。Token级哈希检测100%的单token替换,优于bigram级(漏检3.2%)和句子级(漏检11.7%)。贝叶斯TPC的F1为97.8%,优于简单平均(95.1%)、多数投票(94.2%)和固定权重平均(95.6%)。注入率从10%升至70%时检测率从97.4%微升至97.9%,确认对注入流行度的鲁棒性。
五、讨论与结论
实验证实联合密码学证明与激活级监控产生的提示注入韧性大于各部分之和,且38 ms的每消息延迟适合端到端任务延迟通常为2至15秒的智能体系统。SPI-Net的CAM模块与模型无关,AAD需逐模型校准;TPC的信任衰减机制可优雅处理异步通信与消息间隙。SPI-Net已针对LangChain的AgentExecutor和AutoGen的GroupChat进行测试,AAD前向钩子兼容vLLM、Text Generation Inference和TensorRT-LLM。其保证依赖三项假设:SHA-256与Ed25519的密码学完整性、良性消息与注入消息间激活可分性、以及可信引导阶段校准数据的可用性。对于Mistral-7B-Instruct,监控相同相对层位置达到AUROC 0.987;对于Phi-3-Mini,监控层8、12、16、20、24、28达到AUROC 0.981;对于超过70B参数的仅解码器模型,对角或PCA投影协方差近似成为必要。
本文提出SecurePrompt-IntegrityNet(SPI-Net),一种结合密码学证明与异常感知激活监控的智能体LLM网络数据完整性验证协议。密码学证明模块构建Merkle树承诺以跨多智能体跳追踪数据载荷来源;激活异常检测器使用分层Mahalanobis距离识别表面级分类器无法检测的分布偏移;信任传播共识通过跨智能体图传播的贝叶斯更新融合这些信号。SPI-Net在三种多智能体基准上优于六个近期基线,在五种自适应攻击策略下达到96.8%检测率、1.7%误报率、94.3%攻击成功率降低及99.2%完整性验证准确率,中位延迟开销38 ms。从对称性视角看,SPI-Net可被解释为在智能体通信中保持不变完整性属性同时识别安全相关对称性破坏的框架。CAM保持发送智能体承诺载荷与接收智能体重建验证载荷间的结构对称性;AAD识别注入诱导隐藏表示偏离良性激活分布时的行为不对称性;TPC容纳多智能体通信图中信任关系的合法方向不对称性。实验结果表明,联合考虑这些互补安全属性比单独依赖密码学或行为验证提供更强的提示注入与消息操纵韧性。未来方向包括:以CRYSTALS-Dilithium(ML-DSA,NIST FIPS 204)替换Ed25519的后量子密码原语,每消息增加约1.4 ms;基于元学习的少样本与在线AAD校准,利用跨智能体迁移从少量支持集初始化参考统计量;以及联邦信任管理变体,其中逐边信任分数仅以差分隐私摘要共享,相对于集中式TPC仅使跨组织检测率降低1.3个百分点。