降低真实性成本:通过动态形式化模型切换实现可扩展的自主网络防御形式化验证

《Computer Networks》:Lowering the cost of realism: Scalable formal verification of autonomous cyber defense via dynamic formal model switching

【字体: 大 中 小 】 时间:2026年09月21日 来源:Computer Networks 4.7

编辑推荐:

   •量化了基于深度强化学习(DRL)的网络防御系统在真实性与验证性之间的权衡。•识别了真实性成本的驱动因素:诱饵、部分可观测性和随机策略。•提出了动态形式化模型切换方法,以实现可扩展的网络安全验证。•实现了对企业网络环境中自适应代理的形式化验证。•展示了奖励优化与形式化保证之间

  
  • •
    量化了基于深度强化学习(DRL)的网络防御系统在真实性与验证性之间的权衡。
  • •
    识别了真实性成本的驱动因素:诱饵、部分可观测性和随机策略。
  • •
    提出了动态形式化模型切换方法,以实现可扩展的网络安全验证。
  • •
    实现了对企业网络环境中自适应代理的形式化验证。
  • •
    展示了奖励优化与形式化保证之间的不匹配问题。

引言

自主网络防御(ACD)代理在对抗性网络环境中运行,其中次优决策可能导致关键的安全违规或任务失败[1]。在这样的环境中,防御者持续监控网络状态、检测入侵、响应攻击,同时保持业务连续性。近期基于机器学习(ML)的方法,特别是深度强化学习(DRL),已成为自动化此类决策的一种有前景的机制,它使防御代理能够通过与应用红方代理的模拟网络环境交互来适应其行为[2]、[3]。
尽管近期在实验方面取得了进展,此类系统的评估通常依赖于模拟期间获得的累积奖励。在基准环境中,训练/测试期间观察到的此奖励作为系统级目标(如安全性、可用性和任务成功)的量化证据[1]、[4]、[5]。然而,优化奖励并不保证系统级属性得到满足。
表1使用两个基于近端策略优化(PPO)训练的防御者(分别针对CAGE挑战2环境中的不同攻击者变体进行优化,见第3.1节,详细结果见第5.2.1节)来说明这一差异。从奖励角度来看,针对攻击者1训练的防御者获得了更高的平均奖励(?14.59对?16.43)。然而,使用概率模型检查的分析(参见[6]、[7])揭示了一个属性满足方面的矛盾:尽管其奖励更高,但该防御者违反了6个属性中的3个,特别是那些限制同时存在特权的宿主机数量以及确保在遭受入侵后及时恢复的属性。相比之下,针对攻击者2训练的防御者尽管奖励较低,却满足了所有属性。这体现了以奖励为中心的评估的一个根本性局限:更高的奖励并不意味着更强的属性满足。
这一差异促使我们使用形式化验证(FV)来对系统级属性进行推理。除了仅依赖聚合奖励信号外,系统属性可以根据形式化模型进行规范和验证。防御代理训练完成后,概率模型检查能够对抗对抗性动态下攻击者成功的概率、有界响应属性或服务可用性等数量进行推理[6]、[7]、[8]。这种方法通过暴露属性违规并实现对关键故障概率保持在指定范围内的明确保证,从而补充了基于奖励的评估。尽管这种方法能够实现比基于奖励的评估更强的属性满足保证,但将形式化验证应用于复杂的网络防御场景引入了一项可扩展性挑战:
通过以下方式增加行为保真度:(i) 诱饵建模(例如蜜罐等欺骗性服务)改变利用成功的概率;(ii) 具有不完美检测的部分可观测性;或(iii) 随机策略表示(即根据可能动作的概率分布选择动作),会使底层形式化模型中的可达状态数量迅速增加,从而增加模型大小和构建时的内存消耗。在单一的形式化模型中天真地编码这些真实性方面会导致状态空间爆炸,使得验证在计算上不可行。这种行为真实性与验证可扩展性之间的二分对立为基于学习的ACD系统提出了一项关键的工程挑战。
现有方法通过抽象、组合验证或统计模型检查来解决可扩展性问题[9]、[10]、[11]。尽管这些技术在降低计算成本方面有效,但它们依赖于近似或受限的动态。这可能改变形式化模型中捕获的行为,导致验证结果可能无法完全反映原始系统行为,或在基于学习的ACD系统中掩盖关键的属性违规。为了在不牺牲行为保真度的情况下解决这一局限,我们提出了动态形式化模型切换。我们的方法将验证分解为配置特定的模型,这些模型在验证过程中按需实例化,从而在保持系统自适应行为的同时避免状态空间爆炸。
这促使我们系统地分析建模真实性如何影响验证的可行性和属性满足,我们将此称为真实性的成本。在本文中,我们量化了跨建模维度的这一权衡,并分析了其对基于学习的防御策略形式化验证的影响。主要贡献如下:
  • •
    对基于学习的ACD中建模真实性与验证可扩展性之间权衡的系统性实证分析。
  • •
    识别了跨越三个真实性维度的状态空间爆炸的关键结构性来源:(i) 诱饵建模,(ii) 部分可观测性,以及(iii) 随机策略表示。
  • •
    一种基于动态形式化模型切换的验证感知缓解策略,源自上述洞察,该策略在保持行为真实性的同时维持可行的验证。
  • •
    实证和形式化结果表明,奖励优化策略可能表现出较弱的属性满足,突显了学习目标与可验证系统属性之间的显著不匹配。
本文其余部分组织如下。第2节回顾相关工作。第3节描述模拟环境、混合验证工作流、形式化属性以及训练和评估设置。第4节定义真实性维度并引入动态形式化模型切换作为验证感知的缓解策略。第5节呈现实验结果,第6节讨论由此产生的设计影响和局限性。第7节总结全文并指出未来工作的方向。

章节摘要

相关工作

基于学习的方法被广泛用于自主网络防御(ACD),其中深度强化学习(DRL)代理在自动网络作战(ACO)环境中进行训练[1]、[3]、[12]、[13]。这些工作证明,深度强化学习可以在对抗性动态下学习自适应防御策略,并在复杂环境中实现强大的性能。然而,评估仍然主要基于奖励,对安全性、可用性或攻击者影响限制等任务级目标提供了有限的洞察。这造成了一个

方法论

我们在[6]、[7]中为自主网络防御提出的混合形式化验证方法的基础上进行了扩展,以量化真实性的成本。我们将真实性的成本定义为在对抗性不确定性下,基于学习系统中建模保真度与验证可行性之间的权衡。图1提供了验证循环的概述,包括三个阶段:(1) 形式化属性规范和策略训练,(2) 形式化模型生成,以及(3) 概率模型检查。我们分析了三个关键

真实性维度

为了量化形式化验证的自主网络防御中的真实性的成本,我们系统地变化三个影响行为保真度和验证复杂性的维度:(i) 诱饵建模,(ii) 部分可观测性,以及(iii) 随机策略表示。这些维度捕捉了自主网络防御系统中不确定性和自适应性的关键来源,包括不受限制的诱饵放置、不完美的感知以及概率性决策。同时,它们也暴露了可扩展性的

结果

我们沿着两个互补的视角来组织结果。首先,我们分析真实性的计算成本(第5.1节)。其次,我们从成本转向结果,分析增加真实性如何影响属性满足以及学到的防御策略的行为(第5.2节)。这两个视角共同刻画了基于学习的自主网络防御中的真实性的成本。基于这些发现,第6节推导了验证感知的自主网络防御系统的影响并讨论了

设计影响与局限性

跨越三个真实性维度的结果为基于学习的自主网络防御系统的设计与验证提供了指导:
(1) 仅依靠奖励优化不足以保证满足任务级属性。例如,针对B_Line训练的防御者获得了比Meander更高的累积奖励,却违反了多个形式化属性。这突显了需要用形式化验证来补充基于奖励的评估的需求。
(2) 自适应防御机制需要验证感知的建模。

结论

本文研究了增加行为真实性对基于学习的自主网络防御策略形式化验证的影响。我们分析了三个真实性维度:(i) 诱饵建模,(ii) 部分可观测性,以及(iii) 随机策略表示,并研究了它们对可扩展性、计算成本和概率属性满足的影响。
我们的结果揭示了一个建模保真度与形式化验证可行性之间的根本性权衡:虽然更真实的模型能够捕捉防御者的重要方面,

CRediT作者贡献声明

Laurin Holz:撰写 – 审阅与编辑,撰写 – 原创草稿,可视化,验证,软件,方法论,概念构思,形式分析。Johannes Loevenich:撰写 – 审阅与编辑,撰写 – 原创草稿,指导,方法论,概念构思。Karlo Blazevic:撰写 – 审阅与编辑,可视化,验证,软件。Tobias Hürten:撰写 – 审阅与编辑,撰写 – 原创草稿,验证。Maxime Schwarzer:撰写 – 审阅与编辑,撰写 – 原创

利益冲突声明

作者声明他们不存在已知的竞争财务利益或个人关系,这些利益或关系可能会影响本文所报告的工作。
Laurin Holz | Johannes Loevenich | Karlo Blazevic | Tobias Hürten | Maxime Schwarzer | Thies M?hlenhof | Roberto Rigolin F. Lopes | Michael Gla?
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号