AgentOps 模式目录：基于基础模型的智能体安全与可观测运行的架构模式

《Information and Software Technology》：AgentOps Pattern Catalogue: Architectural patterns for safe and observable operations of foundation model-based agents

　　

摘要

背景：

基于基础模型的代理执行多步骤、工具中介的轨迹，其行为具有随机性、路径依赖性，并与可变状态和外部系统耦合。因此，生产运行需要在步骤边界设置循环内决策点，并处理证据以支持超出临时日志的可归因、轨迹范围审查。

目标：

提供可复用的、平台级别的架构指导，用于部署后操作使用工具的状态代理。

方法：

我们进行了多声部文献综述，并使用一致的模式模板将反复出现的操作问题和解决方案结构综合为一个架构模式目录。

结果：

我们提出了一个包含十个平台级模式的 AgentOps 架构模式目录。每个模式都指定了上下文、问题、力量、解决方案、后果、相关模式以及已知的文档化用法。我们将目录的后果映射到 ISO/IEC 25010 质量特征，并为每个模式的实现证据成熟度标记。我们还提供了面向不同利益相关者的采用指导。

结论：

该目录为设计具有明确轨迹范围决策边界和证据支持监督的 AgentOps 平台提供了结构化基础，支持安全和可观测的操作实践。

引言

基于基础模型的代理（FM 代理）执行多步骤的运行/轨迹，将模型推理与外部动作（如工具或 API 调用）和演变状态交织在一起 [1], [2]。与请求/响应服务不同，运行通常是随机和路径依赖的：相同的初始意图可能由于概率解码、非确定性工具和环境 I/O、可变检索或记忆状态，以及演变的操作约束或系统版本而产生不同的中间决策、动作序列和下游影响 [3], [4]。在生产中，正确性和风险因此取决于运行中决策和动作的序列，特别是当外部动作可能产生不可逆的副作用且持久状态在步骤和回合间携带时 [5], [6]。例如，考虑一个代理在超时后重试具有副作用的工具调用。外部系统被修改了两次，而请求范围的日志仅记录了两个格式良好的 API 调用。产生它们的轨迹以及当时生效的策略配置都无法恢复。

AgentOps 指代在不确定性的真实环境中操作和演进基础模型代理的工程学科，强调部署后监控、控制、评估和审查使用工具的状态运行 [6], [7], [8]。本文关注部署后操作和变更治理，并假设使用现成基础模型而非重新训练或微调。开发时实践仍然至关重要，但当通过工具中介的副作用以及与可变状态和外部依赖的耦合在运行时产生实质性失败和危害时，这些实践是不够的 [9]。

现有的操作范式提供了重要的基础，但并未始终突出使用工具的代理的轨迹范围操作。DevOps [10] 针对服务的可靠交付和操作，而 MLOps [11] 解决以模型为中心的流水线，如数据处理、训练和部署。LLMOps 已成为操作 LLM 赋能应用程序的总称，涵盖提示和检索资产管理、评估、监控和部署工作流 [12]。在实践中，这些工作流通常围绕每次推理的交互和工件组织，这导致当引入代理时，轨迹范围决策点和证据绑定依赖于临时集成 [9], [13]。相比之下，基于基础模型的代理需要在步骤边界设置反复出现的循环内决策点，特别是在可能发生副作用或持久状态提交的地方，以及支持在整个运行中归因和审查的证据处理，而不是孤立的调用。

为了使这些职责对平台设计明确，我们采用一种通过交互契约分离反复出现的关注点的观点。我们区分了执行平面，即运行在上下文和状态耦合下执行的在路径运行时，其中外部动作可能产生副作用，与一个控制平面，该平面管理循环内决策和执行，如策略检查、工具授权、升级、自主模式和发布门禁 [14], [15], [16]。我们还区分了一个证据平面，该平面捕获和组织可归因审查和变更治理所需的工件，包括轨迹跟踪、评估结果、配置引用和决策记录。这三个平面反映关注点分离和交互契约，而不是物理分解为独立服务的要求。

我们提出了一个AgentOps 架构模式目录，用于设计和构建在生产环境中操作基于基础模型的代理的 AgentOps 平台。该目录指定了十个可复用的平台级构建块，并使用一致的模板（上下文、问题、力量、解决方案、后果、已知用法和相关模式）描述每个模式。我们关注运行时执行、控制和证据工具中介、状态运行所需的平台机制，并排除代理内部设计技术（如提示策略和规划算法）。每个模式都以学术和工业来源中记录的已知用法为基础。我们提供了一个概述交互图（图 2），总结了三个平面中典型的组合关系，以及面向工程、评估/安全以及治理/合规受众的采用指导。

本文的其余部分组织如下。第 2 节详细介绍了研究方法。第 3 节提出了十个模式。第 4 节讨论了目录中的后果权衡和实现成熟度，并按受众给出采用指导。第 5 节将目录与相关工作进行定位，第 6 节陈述了局限性，第 7 节以主要要点作结。

章节片段

方法论

我们通过遵循既定指南 [17], [18] 的结构化多声部文献综述 (MLR) 推导了 AgentOps 架构模式目录。在这里适用 MLR，因为许多部署后 AgentOps 机制是在从业者工具和平台文档中指定的，仅依赖学术文献会遗漏大量的操作实践。目标是识别和综合反复出现的平台级架构机制，用于部署后

AgentOps 架构模式目录

本节展示了AgentOps 架构模式目录：十个用于在生产环境中操作基于基础模型的代理的可复用、平台级架构模式。我们使用AgentOps指代部署后操作机制，用于监控、控制、评估和使用工具的状态代理轨迹的担保，包括在可能引起外部副作用或提交持久状态的步骤边界处的在路径中介。每个条目都指定为可实例化的

讨论与启示

本节在转向采用之前将目录视为一个集合来阅读。其中两个属性与两者都有关。模式通过信息依赖而不是固定的 API 进行组合，因此部署实例化一个子集并通过共享标识符和版本引用进行绑定。它们还根据相对于轨迹的位置进行划分：在路径模式位于关键路径上，可能门禁副作用或持久状态提交，而在外路径模式异步运行以

相关工作

架构模式捕获反复出现的系统级问题和可复用的解决方案，通常以交互组件及其权衡来描述 [41], [42]。我们以这种架构意义使用模式，但将其范围限定为用于在生产环境中操作基于基础模型的代理的平台级构建块。因此，我们排除代理内部技术，如提示启发式、规划算法和检索算法。只有当模式可以作为

局限性

目录在不同模式上的经验基础程度不同。几个模式映射到已经在广泛使用的工具包和框架中实例化的操作能力，包括基于跟踪的可观测性、外部依赖边界处的中介、步骤边界处的护栏挂钩以及跟踪到评估的工作流。相比之下，边际风险评估器和担保证据工厂更多地得到治理框架和研究先例的支持，而不是成熟的，

结论

本文提出了一个AgentOps 架构模式目录，用于设计和构建在生产环境中操作基于基础模型的代理的 AgentOps 平台。专注于部署后操作切片，该目录定义了十个可复用的平台级构建块，组织在执行、控制和证据平面中。执行和控制模式指定了步骤边界处轨迹范围中介、执行和批准的架构契约，在

CRediT 作者贡献声明

Boming Xia: 写作 – 审查与编辑，写作 – 原稿，方法论，概念化。Yue Liu: 写作 – 审查与编辑，写作 – 原稿，概念化。Qinghua Lu: 写作 – 审查与编辑，监督，概念化。Liming Zhu: 写作 – 审查与编辑，写作 – 原稿，概念化。Dino Sejdinovic: 写作 – 审查与编辑，监督，概念化。Xiwei Xu: 写作 – 审查与编辑，监督，概念化。

写作过程中使用生成式 AI 和 AI 辅助技术的声明

在准备本手稿期间，作者使用了ChatGPT (OpenAI)来协助写作任务，如语言润色、措辞紧凑和一致性检查。此使用仅限于支持写作过程。在使用此工具后，作者仔细审查、修订和编辑了文本，并对已发表文章的所有内容承担全部责任。

资金

这项工作得到了澳大利亚阿德莱德负责任人工智能研究 (RAIR) 中心 的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能出现在影响本文报告工作的情况中。

Boming Xia|Yue Liu|Qinghua Lu|Liming Zhu|Dino Sejdinovic|Xiwei Xu

澳大利亚阿德莱德州 SA 负责任人工智能研究 (RAIR) 中心