迈向安全可信的智能体 AI：基础、分类体系、技术、应用及未来方向

《ARTIFICIAL INTELLIGENCE REVIEW》：Towards safe and trustworthy agentic AI: foundations, taxonomy, technologies, applications, and future directions

　　

摘要

智能体人工智能（AI）代表了一种范式转变，即从静态的、特定任务的系统转变为自主的、目标导向的智能体，这些智能体具备推理、规划、学习和行动的能力，且仅需最少的人类监督。本文综合了哲学、认知科学和人工智能的视角来定义能动性，概述其关键属性，并将其置于与现有范式（如强化学习、符号推理、信念 - 欲望 - 意图（BDI）架构和具身认知）相关的语境中。我们沿着自主性、认知能力、模态和环境交互的维度提出了智能体系统的分类法，突出了当前的能力和局限性，并批判性地界定了此类分类法具有信息价值的领域，以及必须让位于对智能体行为进行功能性和闭环分析的领域。我们回顾了赋能技术（包括大型语言模型、记忆架构、规划框架、工具使用机制和多模态具身化），以及从自主研究和创意系统到网页自动化和人机协作的多样化应用领域。我们分析了安全、对齐、评估挑战和涌现风险，专门通过连接可信机器学习、验证自主性和隐私保护学习来撰写关于可信性、隐私和可持续性的章节，并汇编了评估智能体行为的主要基准的比较审查。最后，我们概述了未来的研究方向，包括组合式和模块化架构、协作式人工智能、基于模拟的安全探索、数据高效且受发展启发的学习、混合符号 - 神经网络系统以及稳健对齐策略。通过提供全面的框架和批判性分析，本工作旨在指导智能体人工智能系统的开发，使其不仅具备能力，而且安全、可信并与人类价值观对齐。