《Artificial Intelligence Science and Engineering》：Fuzzing Large Language Model Agents: A Taxonomy, Engineering Framework, and Evaluation Protocol
编辑推荐：
研究人员提出，由大语言模型（Large Language Model，LLM）驱动的智能体（agent）正日益作为闭环决策系统运行，其具备检索外部上下文与记忆、规划动作、调用工具以及改变环境状态的能力。这种自主性带来了轨迹级风险，包括间接提示注入（indire
研究人员提出，由大语言模型（Large Language Model，LLM）驱动的智能体（agent）正日益作为闭环决策系统运行，其具备检索外部上下文与记忆、规划动作、调用工具以及改变环境状态的能力。这种自主性带来了轨迹级风险，包括间接提示注入（indirect prompt injection）、记忆污染（memory poisoning）、不安全工具调用、授权违规以及受环境状态影响而产生的错误动作，而仅依靠提示级测试不足以评估此类风险。研究人员将智能体模糊测试（fuzzing）形式化为对用户指令、检索上下文、记忆状态、工具参数与环境反馈的结构化扰动，并按交互面、变异策略、执行环境、行为安全评估器（behavioral safety evaluator）与行为覆盖目标组织设计空间。该框架集成种子构建、语义感知变异（semantics-aware mutation）、轨迹引导探索、沙箱执行、运行时监控、行为覆盖反馈、风险评分与失效复现。一项在文件管理、检索增强生成（retrieval-augmented generation，RAG）、邮件与数据库场景中以900条沙箱轨迹开展的受控研究表明，语义感知与状态引导变异比基于规则的变异能发现更多测试床失效。研究人员进一步讨论了评估器可靠性、长程测试、记忆安全、多智能体交互、可扩展性与外部有效性。
研究背景与问题动机
传统大语言模型评测多以单轮问答或最终文本生成为对象，而现代LLM智能体已演变为具备记忆、检索、规划与工具调用能力的闭环决策系统。其风险不再局限于“说错话”，而是会沿着多步轨迹传播：不可信文档、邮件、数据库返回、工具输出或同伴智能体消息中的恶意内容，可能在若干步后才触发越权、泄露或破坏性操作。提示级红队与静态安全基准难以覆盖这种状态依赖、延迟触发与跨模块传导的失效。因此，需要把“完整交互轨迹”而非“孤立提示—回复对”作为基本测试单元，建立一套可复用、可反馈、可复现的智能体安全测试方法。
研究人员开展的工作与核心结论
研究人员形式化了智能体闭环模型，将执行轨迹定义为状态、动作、观测与环境转移的序列，并把模糊测试目标写成在约束下最大化行为安全风险评分的优化问题。在此基础上，提出一个多维分类学：按交互面分为间接提示注入、记忆污染、规划执行失败、不安全工具调用与多智能体委托失败；按生成方式分为提示级、检索上下文级、工具参数级、环境反馈级、记忆状态级与多智能体交互级模糊测试。工程框架串联种子语料构建、语义感知变异、轨迹引导探索、沙箱执行、运行时溯源监控、行为覆盖反馈、可解释风险评分与失效复现分诊。受控试点在文件管理、RAG、邮件与数据库四类沙箱场景中执行900条轨迹，比较规则变异、语义感知变异与状态引导变异。结果显示：语义感知与状态引导策略比规则模板发现更多安全违例；邮件与RAG场景因暴露于不可信自然语言内容而失效发现率最高；文件与数据库场景的失效更集中于越权工具调用与状态破坏。研究意义在于把智能体安全评测从“输出判断”推进到“轨迹取证”，并为防御回归测试提供可审计、可重放的基础设施。
主要关键技术方法
研究人员采用种子语料加可控智能体模拟器的受控实验设计，不依赖外部生产模型以减少漂移。关键方法包括：结构化种子构建覆盖良性任务、高风险任务与已知注入模式；三类变异策略，即规则模板变异、保留任务意图的语义感知变异、基于首步工具状态后再扰动的轨迹状态引导变异；沙箱环境每轮重置快照以保证可复现；运行时记录提示、检索块、记忆读写、工具参数与输出、策略决策及终态；用覆盖签名向量刻画意图、工具、状态、记忆与评估器触发维度；以任务特定谓词组成二元评估器并累加严重度评分；通过重复运行计算复现率，将失效转化为回归测试用例。
研究结果
受控试点评估
在四类沙箱场景中，每场景5个种子任务、每种子5个变异、3种策略、每案例3次重复，共4×5×5×3×3=900条轨迹。规则变异攻击成功率（ASR）仅6.67%，语义感知变异升至38.00%，状态引导变异达62.67%且复现率66.67%。说明中间轨迹信号可显著放大失效发现能力，但绝对值仅反映受控模拟器，不代表生产模型漏洞率。
场景级失效分布
邮件与RAG场景ASR分别为54.67%与46.67%，主要源于不可信内容中的指令化载荷；文件与数据库场景绝对比例较低，但失效更直接关联保护资源删除、私钥表查询与破坏性SQL。
失效类型分析
间接提示注入集中在RAG检索文档；隐私泄露出现在文件与邮件场景对受保护合成资源的读取或回写；授权违规集中于数据库私钥表访问；不安全工具调用表现为越权转发、路径遍历与破坏性命令。四类模式共同证明：最终回答正常并不等于轨迹安全。
讨论与结论翻译
研究人员指出，该框架仍面临评估器可靠性、长程探索成本、记忆安全、多智能体放大效应与外部有效性不足等开放问题。受控模拟器提升了可复现性与 oracle 可检查性，但削弱了面向真实模型的泛化；后续应接入API后端、丰富工具生态并引入人工审计评估器。研究结论可归纳为：智能体模糊测试应把轨迹作为首要对象，把交互面、语义变异、状态反馈与可解释评估耦合为闭环；安全指标不能只用攻击成功率，而需联合安全违例率、不安全动作率、安全任务完成率与复现率进行多目标报告。研究人员强调，过度保守的防御可能以牺牲任务效用为代价，因此未来工作应把发现的失效持续转化为可重放回归测试，并在防御改动后验证安全与效用的同时保持。
Conclusion
研究人员总结：面向LLM智能体的轨迹级模糊测试能够系统性暴露单轮评测不可见的延迟触发、委托越权与工具副作用风险；所提出的分类学与工程框架为异构智能体环境提供了一套可扩展、可审计、可复现的安全测试原语，其价值不在给出绝对漏洞率，而在建立“扰动—轨迹—证据—回归”的闭环方法论。
