TAFFAC：用于网络安全的前沿人工智能模型威胁评估框架

《Computers and Electrical Engineering》：TAFFAC: Threat assessment framework for frontier AI models for cybersecurity

　　

摘要 前沿人工智能（AI）模型正在彻底改变网络安全领域，实现了快速推理、自主协调、动态漏洞检测以及大规模决策制定。然而，它们也带来了新的风险，恶意行为者可能滥用这些模型来加速进攻性操作、绕过策略、提升权限或发起自主攻击。目前，各机构缺乏一种结构化的方式来评估前沿AI模型在运营风险、自主性限制、编排滥用潜力以及与机器速度利用相关的漏洞方面的表现。为了解决这一问题，我们利用“用于网络安全的AI模型威胁评估框架”（TAFFAC）对网络威胁态势进行了分析，并讨论了缓解这些模型在部署和集成过程中相关风险的策略。

引言 用于网络安全的“前沿AI模型”是高度先进的系统，能够执行复杂的网络推理、分析和运营任务，其能力与专家相当甚至超越专家。与传统的自动化工具不同，它们能够理解代码、分析基础设施、对遥测数据进行推理、生成漏洞利用代码或检测规则、编排工作流、与应用编程接口（API）和工具交互，并自主辅助进攻性或防御性网络操作。它们被称为“前沿”模型，是因为它们处于人工智能的最前沿，整合了大规模推理、类似智能体的行为、上下文记忆以及快速的机器速度执行，这有可能彻底革新网络安全实践。

从进攻角度来看，前沿AI模型通过自动化侦察、分析公开数据以及大规模创建高度个性化的钓鱼或社会工程活动来显著增强有针对性的网络攻击，以增强机器人网络。它们还能加快漏洞检测速度，实时调整攻击方法，并在极少人工干预的情况下将漏洞利用代码链接到相互连接的系统上。因此，有针对性的攻击变得更快、更具可扩展性，更难被传统安全措施检测到。这些模型仍然容易产生“幻觉”，这意味着即使在它们看起来非常自信的情况下，也可能产生虚假、捏造或误导性的输出。在网络安全领域，此类幻觉可能导致严重问题，如错误的漏洞评估、错误的修复建议、错误的威胁归因或不安全的操作建议。随着前沿AI模型与自主系统、外部工具和企业基础设施的集成，这一问题变得更加关键，因为错误的推理可能直接影响运营决策。

Anthropic的“Mythos”和OpenAI的“Daybreak”是新一代AI的代表，它们能够以极快的速度对基础设施、代码、身份、攻击面、工作流和操作遥测数据进行推理。与传统AI不同，这些模型能够自主执行侦察、推理、代码生成、修复指导、策略评估和编排等任务。随着它们越来越多地集成到企业系统中，威胁态势不断扩展，滥用、操纵和运营漂移的风险不断增加。传统的威胁模型并非为具备动态推理、工具使用、记忆持久化和分布式决策能力的自主或半自主AI而设计。因此，现代威胁评估框架必须评估基础设施漏洞和模型行为、自主性限制、编排、记忆、身份管理、智能体协作以及机器速度下的攻击放大问题。

人工智能作为现代软件关键组成部分的崛起，暴露了传统威胁建模方法的根本缺陷。像欺骗、篡改、抵赖、信息泄露、拒绝服务和权限提升（STRIDE）以及攻击模拟和威胁分析流程（PASTA）等框架，是围绕经典软件系统典型的确定性、基于规则的原则构建的。然而，这些假设不适用于AI系统，因为AI系统本质上具有概率性、上下文依赖性和决策不透明性。因此，这些框架缺乏应对AI特有漏洞所需的详细分类，包括对抗性输入攻击、训练数据投毒和模型完整性破坏，以及与AI供应链和第三方模型相关的风险。局限性：虽然已经提出了一些扩展方案，将AI和机器学习（ML）威胁纳入现有的威胁模型，但这些努力往往无法完全捕捉复杂的相互依赖关系。

针对这些局限性，最近有几次尝试开发了与AI系统结构属性更精确匹配的威胁建模方法。Jose等人提出了一种以资产为中心的方法，专门用于解决集成和自主智能体架构带来的安全挑战。通过将威胁模型围绕资产而非攻击模式来组织，这种方法在面对不断演变的威胁时提供了更高的可扩展性，并且更自然地契合了当代智能体AI部署的分布式和多组件特性。在补充性贡献方面，有作者提出了一个统一的框架，将STRIDE与损害、可重复性、可利用性、受影响用户和可发现性（DREAD）相结合，以实现主动威胁识别和量化风险评估。通过对一个基于自定义大语言模型（LLM）的应用程序进行案例研究，作者展示了与Shostack四问框架相一致的端到端威胁建模过程，并针对LLM特定的风险类别进行了调整，以增强AI驱动系统的安全性、可靠性和完整性。局限性：该研究专注于通过API集成第三方LLM的应用程序的威胁建模和风险评估。它没有涵盖与自托管或内部LLM相关的特定安全问题，这些风险涉及模型训练、部署、基础设施和生命周期管理。

除了这些结构性扩展外，最近的研究强调了用于量化机器学习对抗性风险的自动化方法。Avishag等人开发了FRAME，一个全面且自动化的框架，用于评估各种环境中的ML系统对抗性风险。FRAME使用多维风险模型，考虑部署上下文、攻击特征和经验见解，并通过可行性评分、LLM驱动的定制化和结构化的对抗性攻击数据集进行增强。这比之前的方法实现了更精确、更具上下文感知的风险评估。为了弥合理论威胁模型与真实世界AI部署之间的差距，Katherin等人分析了针对271名行业专家调查数据的常见攻击假设。他们发现，数据投毒、后门、逃避、模型窃取、成员推断、对抗性示例创建和属性推断等攻击的威胁模型在实践中仍然相关。局限性：然而，它们通常假设攻击者具备（如访问大量训练数据和对抗性样本）在实验室环境之外不现实的能力。这表明了开发针对实际部署条件（基于实际访问限制和运营现实，而非理想化的实验室场景）量身定制的威胁模型的重要性。

AI安全作为一门专门研究领域的兴起，促使几个关键组织开发了结构化的参考框架，以应对大规模AI系统面临的威胁。MITRE的《人工智能系统对抗性威胁态势》（ATLAS）将ATT&CK知识库扩展到对抗性机器学习领域，在结构化的矩阵中详细说明了针对AI的观察到的战术、技术和程序。局限性：这实现了系统化的威胁检测，但其回顾性设计主要反映了针对早期系统架构的敌方能力，而非前沿模型架构所带来的新威胁态势。同时，OWASP的“LLM十大安全风险”框架提供了从业者关注的十大关键安全风险列表，如提示注入、训练数据投毒和过度权限。局限性：它为应用级开发人员提供了实用指导，但仅限于通用LLM部署，缺乏深度的进攻性安全专业知识或复杂的智能体编排。

MAESTRO框架采用了一种七层威胁建模架构，针对智能体AI系统，涵盖基础模型、数据操作、智能体框架、部署基础设施、评估与可观测性、安全与合规以及更广泛的智能体生态系统。它明确将遥测、日志、监控和评估管道视为潜在攻击面，识别了诸如可观测性数据投毒、监控工具被攻破、基于遥测的数据泄露以及攻击者逃避检测等威胁。局限性：首先，它主要作为一种概念性威胁模型，在跨层量化评估或优先排序风险方面提供的指导有限。其次，尽管它承认了跨层攻击路径，但它在自动化验证、持续威胁验证以及将安全集成到持续集成和持续交付/部署（CI/CD）等开发管道中提供的支持有限，这在实际应用时需要额外的工具和方法。

在治理层面，NIST的《AI风险管理框架》（AI RMF）提供了一种自愿的、面向生命周期的结构，围绕四个关键功能组织：治理、映射、测量和管理，涵盖了适用于所有类型AI系统的可信度方面，如稳健性、公平性和安全性。类似地，ISO/IEC 42,001建立了首个AI管理系统国际标准，规定了负责任AI开发、影响评估和组织问责的可认证要求，类似于信息安全的ISO/IEC 27,001。局限性：尽管这两个框架提供了重要的治理，但其领域无关性重点使它们无法解决有效管理前沿网络安全模型部署独特威胁面所需的技术威胁分类、对抗性攻击向量和控制架构问题。

随着前沿AI模型变得更加先进和广泛使用，各组织必须采用系统化的方法来识别、评估和应对不断扩大的安全威胁范围。需要对特定于前沿AI的对抗性威胁类别进行详细分类，按照攻击类型、攻击者动机和相应的安全策略进行组织。这种一致且全面的分类有助于从业者进行彻底的风险评估，优先安排缓解行动，并增强前沿AI系统在整个生命周期中的整体安全性、稳健性和信任度。

前沿AI模型正在通过实现快速推理、自主编排、上下文分析以及与企业系统的交互来改变网络操作。随着各组织将这些先进的AI模型集成到关键网络安全任务中，它们面临着一个迅速增长的威胁态势，包括提示注入、自主滥用、编排操纵、记忆投毒、权限提升和AI驱动的攻击放大。尽管采用速度不断加快，但目前仍缺乏专门针对前沿AI驱动网络安全系统的威胁建模框架。当前的威胁建模策略主要解决传统软件、基础设施或孤立的AI风险，但未能充分考虑前沿AI模型的混合性、适应性和智能体特性。这给试图在高利害关系的网络安全环境中安全治理、验证和部署这些模型的组织带来了重大挑战。

基于对相关工作的审查，我们识别了几个推动本研究的几个关键研究空白。

首先，用于网络安全的AI模型结构化分类仍然不成熟。当前方法未能充分对关键运营要素进行分类，如智能体编排层、上下文记忆、自主工具调用、推理引擎和AI身份边界。缺乏正式的威胁模型使各组织难以系统评估风险、建立信任边界或在前沿AI生态系统内实施详细的安全控制。

其次，传统的威胁建模框架不足以应对网络安全领域中前沿AI模型引入的AI原生威胁态势。传统方法是为确定性软件系统和基础设施为中心威胁设计的，但前沿AI系统引入了动态推理、上下文操纵、自主执行和多智能体编排行为，传统威胁模型无法捕捉这些行为。提示注入、推理操纵、编排滥用、记忆投毒和机器速度漏洞利用链等威胁需要一种从根本上扩展且更高级的威胁建模方法。

第三，缺乏用于网络安全前沿AI模型保证、测试和验证的综合方法论。这些模型表现出非确定性和适应性行为，使传统测试范式变得复杂。AI推理、自主编排、外部工具、API和企业基础设施之间的交互会产生难以系统评估的新兴运营风险。因此，确保运营安全、有边界的自主性以及在对抗条件下的韧性行为仍然是一个重大挑战。

最后，关于作为半自主网络行为者的AI实体的治理模型研究仍然有限。随着前沿模型越来越多地直接与基础设施、API和操作流程交互，它们实际上成为了拥有特权的运营实体。

现有的治理框架未能充分解决人工智能特有的权限管理、运营边界、持续行为验证或机器速度级别的监督要求。我们的研究贡献如下：我们分析了用于网络安全的尖端人工智能模型的特征，并提出了将这些模型整合到网络安全运营（如漏洞发现和利用）中的工作流程。我们提出了一种针对网络安全的结构化威胁建模框架——TAFFAC，专门面向尖端人工智能模型，其中纳入了人工智能原生攻击面、自主编排风险、上下文完整性挑战以及机器速度运营威胁。我们讨论了在网络环境中采用尖端人工智能的运营和安全影响，包括治理挑战、有界自主性要求以及人工智能原生风险管理考量。我们开展了一项比较实证研究，将其他可用的以人工智能为核心的威胁评估框架与TAFFAC进行对比，以证明现有框架不足以支持对尖端人工智能模型进行稳健的威胁建模。我们呈现了一份详细的风险登记表，突出了TAFFAC中所述威胁领域的残余风险，从而反映了当前威胁框架的状态。最后，我们提出了一种缓解控制框架（MCF），以帮助组织安全地部署、治理和防御尖端人工智能网络安全系统，防范对抗性操纵、编排滥用和机器速度网络威胁。章节摘要为什么尖端人工智能模型需要一种新的威胁建模范式？正如我们之前提到的，用于网络安全的尖端人工智能模型与传统软件有着根本性的不同，因为它们是动态的、上下文感知的、可适应的且半自主的。传统的威胁建模技术是为确定性软件、静态应用程序和以基础设施为重点的攻击面而设计的。这些方法往往无法考虑到行为复杂性、上下文推理、代理协调、持久记忆和自适应自主性等特性。用于网络安全的尖端人工智能模型特征理解用于网络安全的尖端人工智能模型的核心特征（如图1所示）至关重要，因为这些系统的运作方式与传统软件和安全工具有很大不同。缺乏这种理解，组织无法准确评估这些模型可能如何被利用、操纵或在企业环境中安全实施。这一知识对于开发有效的威胁模型、安全措施和运营保障至关重要。接下来，我们讨论漏洞发现管道：整合尖端人工智能模型以构建稳健的网络安全系统。在这项工作中，我们的目标是了解Claude Mythos[2]如何集成到现有的代码管道中以实现自动漏洞发现。我们用8个步骤（图2）解释了完整的工作负载，并突出了技术细节。第1步：开发者将代码推送到仓库：开发者在GitHub、GitLab或Bitbucket等服务中设置Git Webhook，确保对受保护分支发起拉取请求时触发事件到持续集成和持续部署。针对网络安全的尖端人工智能模型提出的威胁评估框架（TAFFAC）随着尖端人工智能模型的能力不断增强且应用日益广泛，组织必须采用系统方法来识别、分析和解决不断扩大的安全威胁范围。TAFFAC提供了针对尖端人工智能的对抗性威胁领域的详细分类，将其归入明确的攻击类型、对手动机和相关安全措施中。这一全面且一致的分类法有助于安全团队、研究人员和开发者进行详细的风险分析。TAFFAC与其他标准的比较分析本研究将TAFFAC与知名的AI威胁和风险框架进行了比较，包括MITRE ATLAS[13]、OWASP LLM Top 10[14]、NIST AI RMF[15]和ISO/IEC 42,001[16]。虽然这些框架旨在回答攻击者如何利用基础设施来入侵系统或组织如何一般性地管理AI风险，但TAFFAC关注的是一个独特的问题：如何评估、建模和控制具有进攻性网络安全能力的尖端AI模型的滥用风险？这是一个不同的问题类别。提出的缓解控制框架（MCF）我们提出了一种缓解控制框架，涵盖了针对不同环境层对齐的威胁领域量身定制的各种控制措施。我们使用了相同的威胁领域分类法，并为每个领域概述了控制措施，包括执行点。这些执行点涵盖训练、输出、输入、运行时、访问、API、监控、评估、API和架构设计。表7列出了若干控制措施，以防止针对尖端AI模型的攻击向量。未来工作TAFFAC当前版本为用于网络安全的尖端AI模型建立了基础性的威胁评估架构，但我们认识到随着能力边界的推进和部署模式的演变，有几个关键领域需要进一步发展。我们在下面讨论了这些领域。自动对抗性基准测试：TAFFAC目前从结构、频率、范围和升级阈值方面定义了红队协议。缺失的是一个标准化、可复现的。结论用于网络安全的尖端AI模型引入了一种当前网络安全框架未能设计处理的新类型安全威胁，需要进行重大扩展以确保适当覆盖。TAFFAC通过一种结构化方法来评估攻击路径、评估安全控制措施的有效性和成熟度以及衡量尖端AI部署中的残余风险来弥合这一差距。其针对特定部署的威胁建模帮助组织识别漏洞。Aditya K Sood | SherAli Zeadally | Een-Kee Hong Aryaka Networks安全工程与AI战略副总裁，美国加利福尼亚州圣克拉拉