从助手到审计员：使用通用人工智能审计负责任AI系统的机遇与挑战

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：From Assistants to Auditors: Opportunities and Challenges of using General-Purpose AI for Auditing Responsible AI Systems

　　

•GRAAF框架：GPAIS的角色从审计助手向认证审计员演进。
•分类学将GPAIS能力映射到审计目的、指标和保障措施上。
•为基于GPAIS的可信审计提供路线图和风险保障措施。
•AI审计被框架化为异质证据、智能体和判断的融合过程。
•临床分诊案例研究对受证据约束的GPAIS审计员进行元审计。

引言

人工智能（AI）系统日益增长的复杂性、社会影响和部署规模，使得健全的审计和评估机制成为一项监管与伦理上的必然要求。近期的立法工具，如欧盟《人工智能法案》[1]和《数字服务法案》（DSA）[2]，引入了对透明度、文档记录、合规性评估和上市后监测的严格要求，从而提升了系统化、可复现AI审计的重要性[3]、[4]。与此同时，由包括经济合作与发展组织（OECD）、美国国家标准与技术研究院（NIST）、联合国教科文组织（UNESCO）和欧盟人工智能高级别专家组（HLEG）在内的多个组织开发的多边负责任AI框架，均强调可审计性、问责制和伦理一致性作为可信AI系统的基本原则[5]、[6]、[7]、[8]。这些框架在几个关键维度上趋于一致：透明度、公平性、稳健性、隐私保护、问责制、社会与环境福祉以及人类监督。将这些原则付诸实施需要可复现的评估、持续监测和独立第三方审计，而这些在仅依靠人工流程的情况下越来越难以规模化。

在这一不断演变的监管格局中，通用人工智能系统（GPAIS）既成为了治理挑战，也成为了可扩展AI监督的候选赋能工具。GPAIS可能建立在大型语言模型（LLM）、多模态基础模型、生成式AI能力以及其他组件之上，这些组件的组合支持跨任务和场景的广泛适应性，包括设计时未能预见的那些场景[9]。尽管其不透明性、规模和开发权力的集中引发了对问责制和系统性风险的担忧，但其多功能能力也使它们成为增强AI审计工作流程的有力工具。在本工作中，我们将AI审计1定义为对AI系统全生命周期的系统化和基于证据的审查，涵盖其技术行为、数据和模型属性、文档记录以及相关治理流程，旨在评估其是否符合预定义的技术、伦理、组织或法规标准。此类审计可以纳入特定的评估、评定和监测证据，而审计本身则指通过该过程收集、验证、解释和报告这些证据的更广泛流程。

在实践中，传统审计流程通常通过跨AI系统生命周期的结构化、以人工为主的审查来实现这一范围，包括对数据质量、模型选择与可解释性的深入审查，以及对治理和风险管理标准的合规性检查。审计员通常依赖抽样、全面的文档审查和定期的时点评估，这使得这些流程资源密集、速度缓慢，且在日益增长的AI部署数量面前难以规模化[10]。GPAIS提供了增强能力，可以缓解这些限制，通过生成解释、合成测试用例、偏差诊断和合规摘要来发挥作用。此外，它们还能将技术输出转化为利益相关者易于理解的格式，从而提升审计发现的可沟通性和可及性。

除了增强功能之外，GPAIS智能体可以被编排成协作式的多智能体审计生态系统。在此类系统中，智能体可以专注于不同的任务，其输出必须被融合成连贯的审计证据和判断，例如：一个智能体生成对抗性测试用例，另一个验证稳健性，第三个综合审计报告，第四个追踪来源和检查法规合规性[11]。这些智能体可以通过结构化协议交互、共享中间产物，并在不确定性或风险阈值超限时将发现升级至人工审查员[12]。这种基于智能体的分解使得可扩展、模块化且上下文感知的审计工作流成为可能，这些工作流能够动态适应不断演变的法规要求和系统行为。此外，基于智能体的GPAIS可以支持元审计——即评估其他审计员的性能和完整性——以及策略感知规划，在其中修复策略根据法律约束和组织优先级生成[13]。这些能力为持续、自我改进的审计生态系统敞开了大门，该生态系统将AI驱动的自动化与分层次的人类监督相结合。

本文主要研究GPAIS作为负责任AI系统审计的助手及潜在的半自动化或全自动化智能体的应用2。GPAIS作为治理对象的地位在本研究中仅在其固有风险、局限性以及机构依赖性影响基于GPAIS审计的可信度范围内予以考虑。我们考察了GPAIS如何支持人工审计员进行分诊、解释生成和报告起草，以及这些能力如何逐步向可复现和结构化的自动化审计工作流演进。在此过程中，我们提出了GRAAF（基于GPAIS的负责任AI审计框架），这是一个结构化框架，用于将GPAIS整合到AI审计流水线中，从增强开始逐步向自动化推进，同时保留人类监督和责任。为了从实证上验证该框架，我们将其实例化于一个临床分诊漂移监测案例研究中，其中一个在固定协议下运行的基于LLM的审计员被针对确定性参考规则进行元审计。

本工作的创新之处在于其全面涵盖了与审计相关的GPAIS能力分类学、GPAIS辅助工作流的实际运行以及分阶段采用路线图。我们还讨论了主要风险（包括自动化偏见、对抗性操纵和审计俘获），并提出了基于治理保障措施和评估标准的缓解策略。我们的核心论点是，当嵌入分层监督架构中时，GPAIS可以在不损害人类问责制的前提下，增强AI审计的可信度、可扩展性和效率。支撑该论点的统一视角是，现代AI审计越来越成为一个融合问题：审计员必须结合异质证据来源（例如日志、指标、文档），跨分析组件或智能体整合推理，并在不确定性下协调潜在冲突的判断。鉴于GPAIS具备跨模态和任务摄取、综合和推理的能力，它们尤其适合编排此类多层次融合过程。

我们的贡献可总结如下：
•我们识别了限制负责任AI系统大规模审计和评估的主要挑战，包括专业知识瓶颈以及独立性和利益冲突问题（第3.5节）。
•我们提出了GRAAF，一个将GPAIS整合到负责任AI审计流水线中的概念框架，从其作为助手的用途延伸到半自动化和全自动化审计智能体（第4节和第5节）。
•我们呈现了与AI审计任务相关的GPAIS能力详细分类学，包括解释生成、偏差检测、稳健性测试、隐私泄露分析和合规性监测（第4节）。
•我们探讨了GPAIS在审计工作流中如何相互交互，包括智能体间、证据来源和评估输出间的融合模式，例如将复杂审计分解为子任务、协调专业化GPAIS进行对抗性测试、证据综合和报告生成（第4节）。
•我们定义了GPAIS辅助AI审计的运营指标，并提出了治理保障措施以缓解自动化偏见、对抗性操纵和审计俘获等风险（第4节）。
•我们引入了分阶段采用路线图，用于从基于GPAIS的AI审计助手过渡到认证的基于GPAIS的审计员（第5节），包括可信度、可复现性和法律可采纳性的标准。
•我们在多站点临床分诊案例研究中实证实例化了GRAAF（第6节），其三层设计将证据生成、基于GPAIS的审计和GPAIS审计员的元审计分离开来。
•我们引入了AI审计的融合视角（第7节），将其框架化为异质证据、推理过程和判断的集成，并通过证据、智能体、模态、判断和不确定性融合参考算子对其进行形式化。
•我们提供了与基于GPAIS的审计相关的风险结构化分类学，包括系统性风险、认识论风险、统计风险、技术风险、治理风险和法律责任风险（第8节），并讨论了这些风险对人工审计员能力和教育的影响（第9节）。

本文其余部分的组织结构如下：第2节定义GPAIS并概述其特性和建模能力。第3节回顾监管背景和可信及负责任AI系统的要求。第4节详述GPAIS辅助的审计工作流，包括用例和评估指标。第5节探讨从GPAIS助手到自动化审计员的转变，包括技术赋能因素和治理考量。第6节描述了一个实证实验，展示了GPAIS在实践临床分诊应用中支持审计过程的使用。第7节通过一个统一视角介绍GPAIS辅助审计的多层次融合问题。第8节呈现了与基于GPAIS的审计相关的风险和挑战分类学。最后，第9节以研究发现的综合总结和关于安全有效采用的建议作为结论。图1以图形方式展示了本文的结构。

各章节片段

通用人工智能系统（GPAIS）

通用人工智能系统（GPAIS）已作为AI模型的集成体出现，其多功能性和适应性使其区别于任务专用系统。GPAIS旨在执行各种任务，包括设计时未预见的那些任务，因此既带来了机遇也带来了治理挑战[9]。本节首先明确其定义和概念边界（第2.1节），随后概述其特性和特征及

监管背景、可信AI要求和负责任AI系统

我们现在将注意力引向塑造审计要求的监管背景。我们首先概述监管背景（第3.1节），随后回顾与AI审计相关的定义、过程和分类学（第3.2节）。然后我们重新审视可信AI原则（第3.3节）。第3.4节定义了负责任AI。最后，第3.5节强调了大规模审计的挑战，为第4节中探索GPAIS能力作为可扩展和的赋能工具奠定基础。

GRAAF：基于GPAIS的负责任AI审计框架

在本节中，我们呈现GRAAF的助手级别组件，并探讨GPAIS如何务实地整合到负责任AI的审计和评估工作流中，重点关注它们作为助手可以扮演的即时高价值角色、这些助手所支持的具体用例以及安全采用所需的运营规则。第4.1节首先定义助手角色（GPAIS应该和不应做什么），说明典型的人工+GPAIS审计和评估从助手到审计员：面向自动化审计和评估的GPAIS智能体

在建立了安全的助手角色、用例和采用规则之后，自然而然接下来的问题是自动化可以走多远。本节将GRAAF扩展到助手级别之外，通过考察迈向半自动化或全自动化审计智能体所需的技术赋能因素、架构、威胁模型和评估阈值。为此，我们首先定义审计员的角色（第5.1节），然后调查参考架构、训练和工具赋能因素以及

GRAAF的实证验证

为了用实证证据补充第4节和第5节的概念性发展，本节在一个受控案例研究中实例化并评估了有限的GRAAF工作流。完整的实验细节见附录C，脚本和结果可在 https://github.com/javierdelser/GPAIS-audit 获取。

我们的实验设置如图8所示，是一个面临时间和地理分布漂移的多站点急诊科（ED）临床分诊场景。该

GPAIS辅助AI审计中的融合范式

前面几节从互补的角度考察了GPAIS辅助审计。第4节详述了GPAIS能力如何支持审计工作流，而第5节探讨了这些能力如何扩展到基于智能体的和潜在自主的审计系统。我们之前的发展为提出一个统一解释指明了方向：基于GPAIS的AI审计本质上是一个多层次融合问题，其中异质证据来源、推理过程和评估GPAIS辅助审计和评估的风险与挑战

在之前几节讨论了从助手到认证审计员路线图的基础上，我们将注意力转向对基于GPAIS的审计/评估工作流自动化所带来的风险和挑战进行系统性的、基于分类学的分析，以及在任何扩大GPAIS权限之前每个风险必须如何评估。以下讨论的部分风险与GPAIS在其他使用场景中观察到的风险有关（在[31]中进行了全面回顾），但在本

结论与展望

本文考察了AI系统大规模审计和评估日益增长的挑战。现代AI模型变得越来越复杂和不透明，而审计员和监管机构在资源和专业知识方面面临实际限制。在这一背景下，GPAIS，特别是基于智能体的工作流，作为一个有前景的增强工具脱颖而出，提供自然语言推理和广泛能力，可能支持可扩展的审计工作流。然而，这一前景伴随着重大风险，需要免责条款

本文表达的信息和观点纯属作者本人，不应被视为代表欧盟委员会的官方立场。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报道的工作。

Javier Del Ser | Pedro A. Moreno-Sánchez | Emilia Gómez | David Fernández-Llorca