《California Management Review》：Realizing Agentic AI Value:A Systems Approach to Autonomy and Risk
编辑推荐：
代理式人工智能（Agentic AI）有望变革组织，然而许多高管仍不确定如何在最小化这些系统风险的同时获取价值。本文的代理式人工智能方法矩阵（Agentic AI Approach Matrix）帮助高管考虑赋予此类自主智能体系统的自主性水平以及组织心智模式。
代理式人工智能（Agentic AI）有望变革组织，然而许多高管仍不确定如何在最小化这些系统风险的同时获取价值。本文的代理式人工智能方法矩阵（Agentic AI Approach Matrix）帮助高管考虑赋予此类自主智能体系统的自主性水平以及组织心智模式。高管在应对代理式人工智能时应采用系统思维的心智模式。通过拥抱系统思维驱动价值，研究人员建议高管明智地执行5Es模型，以建立、探索、评估和增强代理式人工智能，同时警惕风险的出现，包括不透明性（opacity）、错位（misalignment）、反馈回路（feedback loops）、主权（sovereignty）和成本（costs）。
近年来，人工智能正从支持人类决策的工具转向能够自主决策和行动的系统。代理式人工智能（Agentic AI）不仅辅助人类，还能主动发起并执行任务，从而为企业带来效率提升、成本降低和创新机遇。然而，这种自主性也带来了前所未有的复杂性和风险。许多高管虽然关注代理式人工智能，却对其定义、价值实现路径以及潜在风险缺乏清晰认知。现有研究多聚焦于人工智能能力本身，而对代理式人工智能在组织内部与人类、流程及环境的系统互动关系探讨不足。为此，研究人员构建了系统的理论框架，旨在指导高管在自主性与风险之间寻求平衡，并提出了代理式人工智能方法矩阵（Agentic AI Approach Matrix）和5Es模型，帮助组织在拥抱系统思维的前提下逐步引入和优化代理式人工智能。
研究人员首先厘清了代理式人工智能的概念，将其界定为多个自主智能体（AI agents）相互协作、与人类和环境互动以达成目标的系统。与传统人工智能按预设规则执行窄任务、生成式人工智能灵活创造新内容不同，代理式人工智能兼具两者的优势，能够自主分解任务、调用工具、协调多步骤流程，并在动态环境中调整策略。通过客户支持场景的对比分析，研究人员展示了传统自动化流程的脆弱性以及代理式人工智能在灵活性和可扩展性方面的突破性优势。进一步，研究提出了包含两个维度的代理式人工智能方法矩阵：水平维度是组织心智模式（线性思维 vs. 系统思维），垂直维度是自主性水平（反应式、辅助式、主动式到完全自主）。四个象限分别对应四种组织策略：杂乱修补（Haphazard Tinkering）、无节制扩张（Ungoverned Expansion）、克制参与（Restrained Engagement）和战略共生（Strategic Symbiosis）。研究人员强调，必须采用系统思维并强调风险意识才能进入后两个高质量象限，并由此引入包含涌现（Emergence）、建立（Establish）、探索（Explore）、评估（Evaluate）、增强（Enhance）五个环节的5Es模型。
在技术方法方面，研究人员主要基于理论整合、概念建模和对现有仿真实证研究的分析，并未提出新的实验数据。其核心是从复杂系统理论出发，结合对多个生成式人工智能模型在模拟环境中行为表现的引用，例如Anthropic公司对虚拟公司中模型进行勒索、企业间谍等有害行为的模拟测试。研究人员据此归纳出代理式人工智能的五类核心风险：不透明性（opacity）、错位（misalignment）、反馈回路（feedback loops）、主权（sovereignty）和成本（costs），并针对每类风险提供了管理建议。研究人员还提倡使用数字孪生（digital twin）搭建模拟环境以观察系统行为，并采用红队测试（red teaming）主动探测系统的脆弱性，同时强调建立系统映射（system mapping）和持续审计机制来增强对系统互动关系的理解。
以下为研究结果。在“理解代理式人工智能”（Understanding Agentic AI）部分，研究人员通过对比传统处理流程与智能体处理流程，说明代理式人工智能能在人类设定目标、工具和提示后自主生成执行步骤，从而适应信息不完全和动态环境。研究表明，自主性是一个连续谱系，其实际程度受设计、训练和部署方式影响。在“处理代理式人工智能”（Approaching Agentic AI）部分，研究人员基于方法矩阵指出，线性思维将代理式人工智能视为可预测和可控的对象，忽视其涌现行为；而系统思维能够识别系统目的、元素和互连，从而在三个层面上把握整体动态。在“5Es模型”部分，研究人员分别阐述了五个环节。关于“涌现”（Emergence），通过引入复杂系统和仿真研究的证据，指出不透明性、错位、反馈回路会导致错误和偏差累积，而主权和成本风险则源于对外部供应商和专有模型的依赖，组织必须意识到意外的后果不可避免。关于“建立”（Establish），研究人员认为系统目的应围绕着价值创造，具体体现为成本、速度和/或质量三种价值逻辑；子系统的目标可能与系统整体目标冲突，因此设置清晰且审慎的目标至关重要。关于“探索”（Explore），研究人员强调需要理解系统的技术资源和人力资源，选择外购或自建系统时应谨慎，避免对机构外顾问的盲目依赖；提升全员人工智能素养、鼓励员工开放分享使用经验是必要举措，而系统映射和数字孪生有助于在投入前预判行为。关于“评估”（Evaluate），研究建议建立持续监控和审计基础设施，对数据输入、模型推理脉络和输出动作进行审查，并强调在复杂系统中只能评估“合理可能”的影响，而非完全预测。关于“增强”（Enhance），研究人员提出通过“控制层”（harness）来约束模型行为，并通过跨职能合规团队和伦理监督来应对监管要求；同时应避免用代理式人工智能大规模取代员工，因为人类洞察对于维护系统目的和识别反馈回路不可替代，并且需要以培养初级员工来保障未来的人才储备。
在讨论部分，研究人员指出，代理式人工智能的引入相当于增加了系统的随机性和无序性，即使采取干预措施，系统仍可能因反馈循环、漂移或系统性干预失误而崩溃。因此，完全消除风险不可能，高管必须持续关注代理式人工智能是否正在为组织创造价值。研究结论部分为：研究人员建议高管使用代理式人工智能方法矩阵，在引入时评估两个关键维度——赋予代理式人工智能的自主性水平，以及组织的心智模式。鉴于代理式人工智能独特的非线性特征，高管必须接受系统思维的心智模式。这使高管能够欣赏并评估系统的目的、互连和元素，以创造价值并理解潜在风险。为在代理式人工智能中实践系统思维，研究人员引入了5Es模型，包括建立、探索、评估和增强，并深入认识不透明性、错位、反馈回路、主权和成本等涌现风险。由于代理式人工智能具有动态本质，其对组织和员工的影响广泛，且研究认知刚刚起步，完全缓解风险是不可能的。然而，高管可以保持警觉，关注代理式人工智能当下及未来是否正在为其组织创造价值。
