在攻击图上的协同适应型攻防学习：一种用于动态网络防御的随机博弈方法 Mohammed A. Makarem, Muneef A. Razaz, Zead Saleh

《Future Internet》：Co-Adaptive Attacker–Defender Learning over Attack Graphs: A Stochastic Game Approach to Dynamic Network Defense Mohammed A. Makarem, Muneef A. Razaz and Zead Saleh

　　摘要 网络安全威胁的不断演变环境，其特征是攻击者变得越来越复杂和具有适应性，这对传统的静态网络防御机制提出了重大挑战。为了解决这些限制，本文提出了一个自适应的网络防御框架，该框架将强化学习（RL）与攻击图（AG）建模相结合。攻击者和防御者之间的互动被构建为一个在部分可观察的攻击图引导环境中的重复零和随机游戏，允许双方通过反复互动来调整策略。在统一的攻击者-防御者设置下，研究了两种基于价值的学习方法，即表格Q学习和深度Q网络（DQN）。在多个训练场景下的实验结果表明，随着训练预算的增加，防御者的性能显著提高。在有限的训练下，Q学习提供了计算效率高且稳定的基线，而DQN需要更多的训练和仔细调整才能获得 strong 的性能。然而，随着训练时间的延长，基于DQN的防御者获得了最高的获胜率，尽管计算成本显著增加。此外，多轮统计比较突出了防御效果与运行效率之间的明显权衡：Q学习在计算上更为轻量级，而当资源充足时，DQN提供了更强的渐进性能。这些发现展示了基于学习的自适应防御在攻击图上的潜力，同时也强调了训练预算、计算限制和模型选择在实际网络防御部署中的重要性。

1. 引言
自适应网络防御正逐渐从静态的、基于规则的机制转向基于学习的策略，主要是因为现代攻击者会探测系统、改变战术并利用可预测的防御程序。一个有前景的方向是将攻击图（AG）——它编码了从局部漏洞到高影响力破坏的多步骤路径——与强化学习（RL）相结合，使防御者能够在不确定性下做出序列决策[1]。先前的研究表明，AG不仅可以用作描述性安全工件，还可以用作训练学习代理的可操作环境，包括在图形结构攻击空间中学习遍历策略的方法，以及使用攻击图基础进行受控渗透测试环境的方法[2]。最近的研究还将自适应防御框架化为在部分可观察性下的决策制定，例如通过将贝叶斯AG与基于POMDP的RL相结合，在攻击者的真实进展无法直接观察时选择防御行动[3,4]。同时，基于模拟的研究使用深度强化学习（DRL）（如DQN和近端策略优化（PPO）在基于图的网络环境中训练防御者，考虑了操作权衡和噪声观测[5,6]。基于游戏的形式化扩展了这一想法，通过在AG上模拟明确的攻击者-防御者互动（包括欺骗和资源分配设置），但许多评估仍然假设攻击者是固定的或间接建模的，或者只关注狭窄的动作家族，这在对手适应时可能会高估效果[7,8]。与许多基于攻击图的强化学习研究不同，这些研究将学习的防御者与固定的、脚本化的或间接建模的攻击者进行对比，而本工作关注的是双方通过反复互动共同学习。因此，本文的主要技术创新不仅在于使用攻击图作为结构化的网络环境，还在于将入侵和防御构建为一个在部分可观察性下同时具有自适应攻击者和防御者代理的重复零和随机游戏。这种设置使我们能够在在线攻击者-防御者学习竞赛中研究防御的鲁棒性，而不是在常见的静态对手假设下进行研究。

本研究的主要贡献可以总结如下：
我们将网络入侵和防御构建为一个在攻击图引导环境中的重复零和随机游戏，其中攻击者和防御者都是学习代理，明确捕捉了相互适应，而不是假设一个静态的对手。
我们设计了一个部分可观察的互动设置，在该设置中，每个代理仅使用特定于角色的本地信息（攻击者：攻击值和当前位置；防御者：防御和检测值）进行行动，从而反映了现实的感知和情报限制。
我们在这个共同适应设置中实现了并比较了基于价值的学习方法，包括表格Q学习和基于DQN的防御者，并在统一的动作和奖励结构下进行测试。
我们进一步阐明了所提出的共同适应形式与标准多智能体强化学习（MARL）在安全游戏中的不同之处。与Nash-Q-、minimax-Q-或WoLF-PHC风格的方法不同，后者在每次更新时都会显式计算或近似阶段游戏均衡，我们的框架遵循独立学习者的范式：每个代理将对手视为其（非静态）环境的一部分，并在不解决每个阶段的阶段游戏的情况下更新自己的价值函数。因此，这一贡献不是一种新的学习规则，而是一个端到端的实证框架，在部分可观察性下，两个现成的基于价值的学习者在真实的攻击图环境中共同进化。这种设计使我们能够研究代理之间的学习不对称性（表格对比深度函数近似）如何转化为在共同适应军备竞赛中的防御性能和计算成本，这与寻求均衡的MARL算法是互补的，而不是替代它。

本文的后续章节组织如下。第2节回顾了关于基于攻击图的网络安全建模和基于RL的防御的相关工作，强调了静态对手假设的局限性。第3节介绍了提出的随机攻击者-防御者游戏形式化、部分可观察的攻击图环境以及用于两个代理的学习算法（Q学习和DQN）。第4节报告了我们在多个训练场景下的实验结果，并讨论了关键的性能趋势和实际限制。最后，第5节总结了本文并概述了未来研究的方向。

2. 相关工作
自适应网络防御正越来越多地从静态的、基于规则的机制转向基于学习的策略，主要是因为现代攻击者会探测系统、改变战术并利用可预测的防御措施。最近的工作主要集中在（i）结构化攻击表示（如AG和贝叶斯AG）和（ii）用于在不确定性下进行序列决策的RL或DRL的交叉点。AG仍然是组织多步骤攻击路径和推理局部漏洞如何导致高影响力破坏的最实用工具之一。几项研究旨在改进AG的构建和有用性，以便于学习和评估。例如，混合攻击图生成结合了图结构和深度Q学习来合成真实的攻击进程，这有助于减少对手工制作场景的依赖，并使防御者面临更广泛的威胁行为[9]。其他工作将AG用作渗透测试的结构化基础，提出分层参考模型，在这些模型中，RL代理学习在图标记步骤上以受控方式操作[10]。密切相关的，以导航为导向的研究探讨了代理如何学习在攻击图上的有效遍历策略，当环境明确以图结构化时，澄清了攻击者可以实际学到什么[11]。这些工作共同支持了AG不仅是描述性工件，而且是可操作环境的观点，在这些环境中可以训练和评估学习代理[9,10,11]。
第二种研究流将自适应防御框架化为在信息不完整情况下的序列决策。一个代表性的例子是基于学习的POMDP公式化，用于多阶段攻击，其中贝叶斯AG捕捉不确定性，即使攻击者的真实进展无法直接观察，防御者也更新信念状态以选择防御行动[3]。这种观点与更广泛的基于RL的自适应防御讨论相一致，这些讨论针对零日攻击，其中关键细节（例如目标或漏洞位置）可能是未知的，防御者必须从互动中学习而不是依赖于完整的先验知识[12]。这些方法在处理部分可观察性和多阶段动态方面表现出色，但它们通常将攻击者视为环境模型的一部分（或假设攻击者类别是固定的），这使得评估针对积极适应防御者行为的鲁棒性变得困难[3,12]。
另一种实用的方向是根据图为基础的攻击模型构建可执行的网络环境，并在这些模拟器中训练防御者。Nyberg等人使用RL在基于图的攻击模拟中研究了网络威胁响应，使用DQN和PPO等DRL方法训练防御策略，并明确结合了操作权衡和噪声观测[13]。这是有价值的，因为它将攻击图推理与操作上有意义的防御行动和现实的感知限制联系起来。然而，基于模拟的研究通常在训练和评估期间假设攻击者是脚本化的或固定的，因此防御者实际上是在与基本上是静态的对手进行学习[13]。
AG还被用来定义明确的攻击者-防御者游戏，特别是针对高级持久性威胁（APT）和多阶段破坏。一个多阶段迷宫网络游戏公式化了APT加固模型，展示了如何在攻击进展中分配有限的安全资源以减少暴露，并在计算限制下应用RL风格的方法（例如策略爬山）来近似策略[14]。更最近的工作使用DRL在攻击图游戏中选择策略，将互动视为安全游戏并学习近似最优策略，当精确均衡计算过于昂贵时[15]。相关工作将类似的想法应用于网络欺骗，其中防御者选择蜜罐/欺骗策略，攻击者根据这些策略调整其选择，使用DRL进行策略选择训练。这些基于游戏的方法与我们设置最为接近，因为它们强调在结构化图模型上的战略互动和多阶段行为[15]。同时，在网络物理领域也探索了基于博弈论的学习形式化，例如在电力系统中使用基于游戏的决策视角研究动态防御[16]。在相关方向上，最近的非基于攻击图的网络防御之外的零和游戏公式化也强调了在动态约束和信息不完全情况下的对抗性序列决策[8,16]。然而，这些研究是在不同的应用环境中开发的，并没有考虑在部分可观察的攻击图环境中的共同适应攻击者-防御者强化学习。特别是，最近的控制理论工作解决了具有状态约束的输入饱和非线性系统的事件触发零和游戏，展示了零和游戏公式化在物理激活和安全约束下的对抗性决策中的更广泛适用性[17]。虽然那条工作是在连续时间非线性控制中使用基于Hamilton–Jacobi–Isaacs的设计进行的，但本文解决了一个离散的、基于攻击图引导的网络防御设置，使用基于价值的强化学习；共同点是使用零和游戏结构来捕捉严格的对抗性目标，尽管底层系统模型和解决技术有很大不同。重要的是，最近的工作指出，真实的网络对抗可能是历史依赖的，意味着马尔可夫假设可能并不总是成立；在工业控制系统（ICSs）中，重复的探测和防御者记忆可能导致非马尔可夫行为，这激发了在标记的AG上使用非马尔可夫游戏公式化的需求[18]。除了即时响应之外，一些研究还关注主动防御部署和风险意识加固。以蜜罐为中心的方法将欺骗视为一个自适应资源分配问题，其中防御者随时间改变部署以塑造攻击者的行为[19]。例如，一个多阶段动态部署机制用于虚拟化蜜罐，使用基于攻击图的节点表示并结合离线/在线学习想法来适应各个阶段的部署决策[20]。移动目标防御（MTD）是另一种主动策略，使用概率AG进行了优化，其中DRL方法被训练以在成本和预算限制下提高防御效果[21]。在互补的方向上，基于风险的情势感知与RL结合使用AG来自动化APT防御决策，加强了攻击图风险估计与自适应行动选择之间的联系[22]。这些工作显示出明确的实际价值，但它们中的许多都专注于特定的防御家族（蜜罐或MTD），并不总是评估针对本身也在不断根据防御适应而学习的攻击者的鲁棒性[20,21,22]。最近的工作还探索了基于强化学习的多层网络防御的优化，进一步强调了在复杂威胁环境中进行序列决策对于动态保护的价值[23]。虽然这些研究加强了自适应防御的论据，但它们并没有明确模拟本文考虑的在攻击图引导环境中的共同适应攻击者-防御者学习过程。
一些最现实的防御挑战来自现代基础设施，如企业身份系统和云微服务。使用基于RL的防御研究了动态企业环境，强调了可扩展性和图结构化限制，这些限制决定了哪些防御行动是可行的[1]。微服务环境引入了额外的复杂性，因为攻击面和服务依赖性经常变化；最近的基于DRL的自适应防御策略明确针对这一设置[24]。相关地，在网络物理环境中探索了循环中的对手防御规划，以使防御者基于现实的对手行为和系统约束[25]。最后，一些论文与攻击图防御相关，但仍然支持更广泛的动机。强化学习（RL）已被用于发现指挥与控制（C2）通道，这有助于理解攻击者的基础设施，并可能影响实际中的有效检测手段[26]。此外，基于RL的安全训练在图神经网络中的对抗性防御方面，反映了在图结构数据上运行的学习组件的鲁棒性，当安全流程的某些部分依赖于学习到的图表示时，这一点变得尤为重要[27]。在更广泛的层面上，最近在网络安全、博弈论、大型语言模型（LLMs）和智能代理AI交叉领域的观点强调了在未来网络系统中智能和适应性威胁建模的重要性[28]。尽管这一工作更偏向于概念性，但它加强了研究策略性适应性攻击者-防御者互动的更广泛动机。除了特定于网络安全的研究之外，最近基于学习的方法还强调了在领域转换和异常样本稀缺情况下的鲁棒性，例如通过离分布增强和面向领域泛化的特征学习[29,30]。尽管这些工作起源于机器故障诊断而不是网络防御，但它们同样强调了在部署条件与训练条件不同时泛化的重要性。总体而言，文献强烈支持使用AG作为多阶段攻击的结构化表示[9,10,11]，并表明RL/DRL可以在这样的环境中生成适应性防御策略[3,13,15,21]。然而，对于现实的网络防御来说，仍有两个关键差距需要解决。首先，许多研究仍然针对固定、脚本化的或间接建模的攻击者进行优化[3,13]，当攻击者进行适应时，这可能会高估性能。其次，即使在基于游戏的表述中，学习通常也依赖于结构化的假设（例如，均衡计算、领导者-追随者简化或有限的防御类型，如欺骗/MTD），而不是评估一个在线协同适应学习过程，在这个过程中双方不断学习和反应[14,15,21]。相比之下，当前的工作将网络入侵和防御表述为一个在攻击图引导的环境中重复的攻击者-防御者学习过程，其中两个代理在部分可观察性的情况下调整他们的策略。这种显式的协同适应表述是我们论文与之前的基于攻击图的RL防御研究的主要区别。为了总结之前的工作与我们的设置相比如何，以及突出这里解决的差距，表1沿关键维度对比了代表性研究，如攻击图的使用、防御者学习和攻击者建模。表1。相关工作的比较及我们论文解决的差距。受这些差距的启发，我们的工作将网络入侵和防御描述为一个在攻击图引导的环境中重复的随机攻击者-防御者游戏，其中攻击者和防御者都是学习代理。这直接测试了在协同适应下的鲁棒性，而不是假设攻击者在防御者学习时保持静止。

3. 方法论
问题被建模为一个在网络图上进行的零和随机游戏。在这种情况下，攻击者尝试遍历一系列节点以到达包含敏感信息的目标节点，而防御者则旨在拦截入侵。游戏的随机性由其状态转换定义：在每个时间步骤中，由于检测到攻击者的动作，存在非零的概率导致游戏结束。因为目标完全对立——攻击者的任何收益都代表防御者的等量损失——所以这种互动是严格的零和。模型由三个主要元素定义：网络，它作为环境并指定状态空间和连通性；攻击者，其目标是最大化到达目标节点的概率；以及防御者，他们试图通过积极检测和缓解来最小化攻击者的进展。这些组件在游戏的随机框架内动态互动，具体细节如下所述。我们强调，尽管采用了随机游戏的框架，但这种互动被建模为一个具有吸收终端状态的情节化零和随机游戏，而不是无限视界的游戏。每个情节在三种吸收条件之一下结束：攻击者到达DATA节点、攻击者被检测到，或攻击/防御值向量饱和。因为轨迹是有限的，折现因子α发挥着其标准作用，沿着访问的轨迹向后传播终端结果，而不是作为无界回报的收缩因子。这为那些有效视野涵盖整个情节的代理（攻击者α，DQN防御者β）提供了相对较大的α值，而表格防御者使用较低的β值，这是通过经验调整的：因为大多数情节都很短（通常在检测或妥协之前只有少数互动步骤），较大的折现可以稳定表格备份，通过减少非常短轨迹上的自举目标的方差。为了未来的工作，保留了一个小的α-扫描范围作为敏感性分析。

3.1. 网络
在所提出的模型中，网络安全环境被表示为一个由互连节点组成的状态空间，每个节点都捕捉攻击者和防御者动作之间的互动。在我们的网络中有三种类型的节点：
- 起始节点（START）：这是攻击者的起始节点，代表他们的个人计算机。
- 中间节点：这些节点不包含敏感数据，攻击者必须 compromise 这些节点才能到达最终节点。在这个更新的环境中，有8个中间节点。
- 终止节点（DATA）：这个节点存储敏感数据，是攻击者的目标。
每个节点都由一组属性向量表征，这些属性向量编码了可能的攻击和防御配置，以及检测概率。具体来说，攻击者节点配置定义为：
(1) α_i, β_i, γ_i
其中每个α_i和β_i代表五种攻击类型中的一种的攻击强度：扫描、远程服务利用、远程桌面协议（RDP）劫持、从密码存储中获取凭证以及数据泄露。
类似地，防御者节点配置定义为：
(2) δ_i, ε_i, η_i
其中每个δ_i和η_i代表与相应攻击类型相关的防御能力，包括增加监控频率、禁用不必要的服务、启用网络级别认证（NLA）、实施密码策略和实施阻挡机制等动作。攻击和防御类型之间的对应关系是一对一的，通过索引标识。具体来说，α_i对应扫描，δ_i对应远程服务利用，η_i对应RDP劫持，β_i对应从密码存储中获取凭证，γ_i对应数据泄露。因此，当攻击者选择对某个节点的攻击类型时，结果仅针对该节点匹配的防御值β_i进行评估。
参数γ_i表示在失败或被阻挡的尝试后识别攻击者的概率。所有参数α_i和β_i的值都限制在一定的范围内，代表相应属性的强度或有效性。因此，单个节点n的状态可以表示为：
(3) z_n = α_i * β_i * γ_i
整个系统状态则表示为所有节点状态的集合，其中N是网络中的节点总数，形成了全局状态空间，涵盖了网络的所有可能配置。
在这个框架内，成对的攻击和防御值α_i, β_i定义了每种特定攻击类型的进攻和防御策略之间的竞争互动。虽然这些配对决定了动作的即时成功，但检测参数ε_i引入了一个随机元素，该元素控制了不成功或被阻挡的入侵后对手暴露的概率。这种状态空间表示为建模网络攻击动态、模拟防御响应以及在不同网络条件下评估攻击者和防御者最佳策略提供了结构化的基础。
环境对两个代理来说是部分可观察的。攻击者在部分可观察性下操作，因为它只能观察到自己的当前位置和攻击侧信息，而防御侧的量，如节点防御值和检测概率是隐藏的。因此，攻击者无法直接观察到目标节点的防御状态，必须从之前攻击尝试的成功或失败中间接推断出来。同样，防御者观察到防御和检测信息，但无法直接观察到攻击者的内部攻击值（见图1）。图1. 所提出的攻击者-防御者游戏中使用的网络拓扑。标准拓扑有10个节点：START, 8个中间节点和DATA。总共有(4)^8种可能的环境状态，其中N表示状态空间的基数，即不同环境状态的总数。状态结合了攻击类型、防御类型和每个节点的检测值。攻击者通过未被检测到地到达DATA节点而获胜。防御者通过在攻击者访问敏感数据之前阻止和停止他们而获胜。代理轮流选择攻击/防御目标和节点，然后环境解决动作并提供奖励。攻击者在相邻节点之间移动，但防御者监控整个网络。这个具有多个节点和许多可能动作/状态的环境为代理学习最佳策略以相互击败创造了复杂性。部分可观察性也使得问题具有挑战性，因为代理必须在选择动作时预测和考虑隐藏的信息。由于状态空间大以及对手代理之间的军备竞赛加剧，这个环境为开发和评估适应性网络防御技术提供了有趣的测试平台。为了清晰起见，攻击图连接性定义如下：START连接到CPU1；CPU1连接到CPU2、CPU3和CPU5；CPU2连接到CPU3；CPU3连接到CPU4；CPU4连接到CPU5和CPU7；CPU5连接到CPU6和CPU8；CPU6连接到CPU7和DATA；CPU7连接到CPU8，而CPU8连接到DATA。因此，攻击者只能沿着这些图边移动，而防御者可以作用于网络中的任何节点。

3.2. 防御者
防御者的目标是在攻击者到达DATA节点之前检测并阻止其行动。概念上，防御者行动包括选择一个节点以及五种防御类型之一或要更新的检测参数。在DQN实现中，防御者通过网络输出层共同评估一组离散的节点-动作对。然而，在表格Q学习实现中，防御者策略的表示方式不同，并不使用完全相同的全局节点-动作枚举。因此，Q学习和DQN之间的比较应该主要被视为在相同环境下的两种防御者学习实现之间的比较，而不是在完全相同的内部动作值表示上的严格比较。

3.3. 攻击者
攻击者的目标是入侵将他和DATA节点分隔开的节点。如果到达后者，游戏将结束，攻击者将获胜，因为他将获得敏感数据。在每个时间步骤中，攻击者选择一对(n, a)，其中n是当前位置的相邻节点，a是五种攻击类型之一。动作a会增加相应的攻击值。在每个回合中，攻击者只能采取一个动作。

3.4. 强化学习算法
所提出的网络安全游戏中攻击者和防御者之间的互动被建模为一个随机游戏，其中强化学习（RL）被用作通过重复情节迭代改进代理策略的解决方案。RL使代理能够通过与环境互动并随着时间的推移最大化累积奖励来学习最佳策略。在这个框架中，实施了基于价值的方法，具体来说是Q学习和DQN，结合了-贪婪探索策略。为了平衡探索和利用，攻击者和防御者代理都采用-贪婪策略。探索率在开始时初始化为α，并在每个情节后根据以下公式指数衰减：
(5) α_k = α_k * (1 - β^k)
其中β是衰减因子，κ是最小探索率。这种策略确保了在早期训练期间的充分探索，同时随着学习的进展逐渐倾向于利用。
Q学习：Q学习是一种无模型的RL算法，它估计最优动作值函数δ，该函数表示在状态s采取动作a并随后遵循最优策略时获得的预期累积折扣奖励。标准的时间差分更新由以下公式给出：
δ_k = δ_k-1 * δ_k * r
其中ρ是学习率，γ是折现因子，r是奖励，t是下一个状态[31,32]。在标准的在线Q学习中，(6)中的更新在每次转换后立即应用。
互动是严格的零和。对于每个代理三元组(n, a, δ)，分配给两个代理的奖励满足：
r_n(a, δ_n) = γ_n * δ_n * r
显式地，三种终端结果产生奖励对：攻击者Compromise of DATA、攻击者被检测到和动作值饱和。所有中间步骤都产生奖励。因为攻击者的收益完全匹配防御者在每次转换中的损失，所以这个公式是一个真正的情节化零和随机游戏，而不仅仅是一个竞争性的双代理MDP。我们故意将奖励设置得稀疏且仅在游戏结束时给予：在攻击者-防御者游戏中，中间阶段的奖励塑造被认为是相当微妙的，因为不当的步骤成本可能会导致精确的零和性质被破坏，并使学习到的策略偏向于短视行为。这种设计选择与收敛速度较慢之间的权衡（特别是对于DQN防御者来说，它必须通过一个神经价值函数来传播稀疏的终端信号），我们在限制部分讨论了奖励塑造的扩展作为一个有前途的未来工作方向。让剧集轨迹由表示，其中T是终端时间步。首先，使用（8）更新终端状态-动作对。然后，对于，根据（9）向后更新之前的状态-动作对。这种逆序轨迹备份通过访问的状态-动作序列传播终端结果，同时保持与（6）中的Q学习自举原则一致。在这种形式下，攻击者和防御者都可以采用表格Q学习。整个过程总结在算法1中。

深度Q学习：深度Q学习通过使用神经网络而不是查找表来近似动作价值函数，扩展了经典的Q学习。当状态空间太大而无法有效用表格表示时，这种方法是必要的。在所提出的框架中，防御者可以访问所有节点的防御和检测值的高维表示，使得表格方法在计算上效率低下。因此，为防御者实现了DQN。神经网络以环境状态为输入，并同时输出所有可能防御动作的Q值。网络参数通过最小化平方损失函数来优化：（10），其中y代表目标Q值。训练使用随机梯度下降和反向传播来进行。为了提高收敛稳定性，胜利的奖励被规范化为，失败的结果为。此外，还使用了经验回放，其中转换被存储在回放缓冲区中，并在训练期间随机采样，以减少更新之间的时间相关性。在每个剧集开始时，网络使用预定义的攻击、防御和检测值进行初始化，如表2所示。每个节点包含五个攻击类型值、五个防御类型值和一个检测值。攻击者从START节点开始。算法1用于共适应攻击者-防御者游戏：1：任意初始化和；2：设置学习率，折扣因子；3：初始化；4：对于每个剧集执行；5：初始化状态；6：初始化轨迹；7：；8：；9：；10：；11：；12：；13：；14：；15：观察下一个状态；16：将存储在；17：；18：；19：；20：观察终端奖励；21：；22：；23：；24：；25：；26：；27：；28：；29：；30：；31：更新；32：；表2。攻击者和防御者初始配置之间的故意不对称性（攻击值全部设置为0，防御值通常设置为2，每个非起始节点恰好有一个维度为零）反映了现实的操作假设，而不是对防御者的隐性偏见。攻击值代表对手通过探测目标必须积累的能力或知识；因此它们从0开始。相比之下，防御值编码了真实操作网络在第一天就已经拥有的预先存在的基线控制（防火墙、访问控制策略、监控基线）。每个节点的一个零维度模拟了攻击者如果发现匹配的攻击类型可能会利用的未知潜在漏洞，因此游戏并不是简单地由防御者主导的。我们确实承认，在非常短的训练预算下，这种不对称初始化对防御者有利，如场景1的结果所示，其中表格Q学习防御者尚未学会利用其初始优势。在未来工作中，对基线安全参数（我们模拟器中的初始安全性值，此处固定为2）的敏感性研究是一个方向；改变这个参数将直接量化报告的短预算胜率在多大程度上取决于所选择的初始化水平。

在每个剧集的时间步中，两个代理从它们各自的动作空间中选择动作。出于实现目的，首先执行防御者的动作，然后是攻击者的动作。这种顺序结构模拟了一个主动防御设置，其中防御者在攻击者尝试利用之前分配或更新保护资源，并且与Stackelberg风格的交互一致，在这种交互中，防御者的决策影响攻击者随后的成功。每个节点的攻击和防御值会根据选定的动作随时间演变，其中攻击者的动作会增加选定节点和攻击类型的攻击强度，而防御者的动作则会加强相应的防御水平。如果给定类型的攻击值超过目标节点的相应防御值（攻击值 > 防御值），则认为攻击成功。如果成功，攻击者移动到该节点；如果节点是DATA，剧集以攻击者胜利结束。如果攻击值小于或等于防御值，则攻击被阻止。在这种情况下，检测发生的概率为：（11）。如果发生检测，防御者获胜，剧集结束；否则，剧集继续。为防御者实现的DQN包括一个扁平化层来将防御者的观察结果向量化，接着是一个具有六个神经元的密集隐藏层，使用Sigmoid激活函数，以及一个密集的输出层，其维度与DQN实现使用的离散防御者动作集相匹配。选择与最高预测Q值相关联的动作。

为了平衡探索和利用，两个代理都采用了-贪婪策略。以概率，代理选择估计的Q值最高的动作；以概率，选择一个随机动作。这种机制确保在早期学习阶段进行充分的探索，同时允许随着训练的进展而收敛到稳定的策略。整个过程总结在算法2中。算法2 基于DQN的防御者训练在攻击者-防御者游戏中：1：初始化回放缓冲区D；2：使用随机权重初始化Q网络；3：；4：设置学习率，折扣因子；5：初始化；6：对于每个剧集执行；7：；8：；9：；10：；11：；12：；13：；14：；15：；16：；17：；18：；19：；20：；21：；22：；23：；24：；25：；26：；27：；28：；29：；30：；31：；32：；表2. 初始攻击、防御和检测值。表2中攻击者和防御者初始配置之间的故意不对称性（攻击值全部设置为0，防御值通常设置为2，每个非起始节点恰好有一个维度为零）反映了现实的操作假设，而不是对防御者的隐性偏见。攻击值代表对手必须通过探测目标来积累的能力或知识；因此它们从0开始。相比之下，防御值编码了真实操作网络在第一天就已经拥有的预先存在的基线控制（防火墙、访问控制策略、监控基线）。每个节点的单一零维度模拟了攻击者可能利用的未知潜在漏洞，如果攻击者发现了匹配的攻击类型，所以游戏并不是简单地由防御者主导的。我们确实承认，在非常短的训练预算下，这种不对称初始化对防御者有利，如场景1的结果所示，其中表格Q学习防御者尚未学会利用其初始优势。关于基线安全参数（我们模拟器中的初始安全性值，此处固定为2）的敏感性研究留作未来工作的方向；改变这个参数将直接量化报告的短预算胜率在多大程度上取决于所选择的初始化水平。

在每个剧集的时间步中，两个代理从它们各自的动作空间中选择动作。出于实现目的，首先执行防御者的动作，然后是攻击者的动作。这种顺序结构模拟了一个主动防御设置，其中防御者在攻击者尝试利用之前分配或更新保护资源，并且与Stackelberg风格的交互一致，在这种交互中，防御者的决策影响攻击者随后的成功。每个节点的攻击和防御值会根据选定的动作随时间演变，其中攻击者的动作会增加选定节点和攻击类型的攻击强度，而防御者的动作会加强相应的防御水平。如果给定类型的攻击值超过目标节点的相应防御值（攻击值 > 防御值），则认为攻击成功。如果成功，攻击者移动到该节点；如果节点是DATA，剧集以攻击者胜利结束。如果攻击值小于或等于防御值，攻击将被阻止。在这种情况下，检测发生的概率为：（11）。如果发生检测，防御者获胜，剧集结束；否则，剧集继续。为防御者实现的DQN包括一个扁平化层来向量化防御者的观察结果，接着是一个具有六个神经元的密集隐藏层，使用Sigmoid激活函数，以及一个密集的输出层，其维度与DQN实现使用的离散防御者动作集相匹配。选择与最高预测Q值相关联的动作。为了平衡探索和利用，两个代理都采用了-贪婪策略。以概率，代理选择估计的Q值最高的动作；以概率，选择一个随机动作。这种机制确保在早期学习阶段进行充分的探索，同时允许随着训练的进展而收敛到稳定策略。整个过程总结在算法2中。算法2 基于DQN的防御者训练在攻击者-防御者游戏中：1：初始化回放缓冲区D；2：使用随机权重初始化Q网络；3：；4：设置学习率，折扣因子；5：初始化；6：对于每个剧集执行；7：；8：；9：；10：；11：；12：；13：；14：；15：；16：；17：；18：；19：；20：；21：；22：；23：；24：；25：；26：；27：；28：；29：；30：；31：；32：；表3. 实现中使用的训练超参数。为了完全的可重复性，我们还报告了应用于所有三个学习代理的-衰减计划。探索从开始，并且在每个剧集后以衰减因子指数级衰减，最小衰减率为。表3中列出的每个代理的值、和对应于训练收敛后评估每个代理策略的有效稳态探索率。DQN防御者使用了一个目标网络，该网络每梯度步骤与在线网络同步，使用Adam优化器进行训练，学习率为，mini-batch大小为32，从回放缓冲区中均匀采样。所有实验都使用了随机种子协议，使用numpy.random.default_rng和Python的random模块在Python版本3.14.3下进行相同的种子设置。这些添加旨在消除关于、和在评论中提出的任何歧义。

4.1. 场景1
场景1包括2000个训练剧集，分布在两次独立的模拟中，其中防御者和攻击者都使用表格Q学习进行训练。场景2将训练预算增加到50,000个剧集（两次模拟），同时保持防御者和攻击者的Q学习。场景3评估了在2000个剧集（两次模拟）中基于DQN的防御者对抗基于Q学习的攻击者。场景4通过将基于DQN的防御者训练50,000个剧集（两次模拟）来对抗相同的基于Q学习的攻击者，从而评估增加训练预算对深度强化学习性能的影响。这些场景的结果在以下小节中讨论。为了确保可重复性并提供训练设置的清晰度，实施中使用的关键超参数总结如下。对于攻击者的表格Q学习代理，学习率、折扣因子和探索参数分别设置为、和。对于防御者的表格Q学习代理，相应的参数分别为、和。对于基于DQN的防御者，优化器的学习率设置为，折扣因子为，探索参数为，mini-batch大小为32，回放缓冲区容量为2000。这些训练参数的总结在表3中提供。表3. 实施中使用的训练超参数。为了完全的可重复性，我们还报告了应用于所有三个学习代理的-衰减计划。探索从开始，并在每个剧集后以衰减因子指数级衰减，最低探索率。表3中列出的每个代理的值、和对应于训练收敛后评估每个代理策略的有效稳态探索率。DQN防御者使用的目标网络每梯度步骤与在线网络同步，使用Adam优化器进行训练，学习率为，mini-batch大小为32，从回放缓冲区中均匀采样。所有实验都使用了随机种子协议，使用numpy.random.default_rng和Python的random模块在Python版本3.14.3下进行相同的种子设置。这些添加旨在消除关于、和在审查中提出的任何歧义。

4.2. 场景2
在场景2中，训练预算增加到每次模拟50,000个剧集（两次独立模拟），同时保持防御者和攻击者代理的表格Q学习。这个场景的目的是评估延长训练如何影响防御者学习有效响应策略的能力。如图5所示，防御者平均赢得了81%的胜利率（模拟之间的平均值），其中防御者的胜利对应于在攻击者破坏DATA节点之前检测到攻击者。与场景1相比，这代表了显著的改进，表明更长的训练可能使防御者能够更好地调整其动作选择，并更频繁地通过在攻击者到达目标之前检测到攻击者来终止剧集。然而，这些发现仅限于模拟环境和实验设置，在更多样化的条件下进行进一步验证是必要的，以确认其普遍适用性。图5. 场景2（Q学习防御者，每次模拟50,000个剧集）：攻击者和防御者在两次模拟中的平均胜率。图6显示了场景2训练过程中的剧集持续时间（以秒计）。由于执行了两次独立的模拟，该图将两次运行连续起来，总共得到100,000个剧集（每次模拟50,000个）。剧集持续时间代表完成一个剧集所需的实际时间，因此可以作为攻击者-防御者互动持续时间的代理指标，直到终止（要么防御者检测到攻击者，要么攻击者攻破数据）。如图6所示，平均持续时间在训练过程中一直接近零，表明大多数剧集在相对较少的互动步骤后终止。尽管如此，偶尔会出现短暂的峰值，对应于互动持续时间较长的罕见剧集。在训练的后期（大约75,000-85,000个剧集之间），也可以看到变异性的局部增加，这表明尽管剧集长度通常较短，但偶尔会出现更长的轨迹。总体而言，大致稳定的平均持续时间与在扩展的训练预算下训练动态达到稳定状态相符，并且与图5中报告的防御者胜率提高相一致。图6. 场景2：训练剧集中的剧集持续时间（两次模拟连续；每次模拟50,000个剧集），并附有趋势可视化的平均曲线。图7显示了网络拓扑结构以及场景2中攻击者位置的示例快照。在这个例子中，攻击者在到达数据节点之前就被阻止了，这与图5中的定量结果一致，其中防御者的平均胜率为81%。总体而言，场景2表明将训练扩展到50,000个剧集可能使基于Q学习的防御者学习到更有效的策略，从而增加在目标被攻破之前检测并阻止攻击者的可能性。然而，这一观察结果仅限于本研究考虑的模拟环境和实验条件。图7. 场景2：模拟期间的网络拓扑结构和攻击者位置。4.3. 场景3场景3评估了每次模拟2000个训练剧集的DQN防御者（两次独立的模拟）。与场景1-2不同，在那些场景中防御者使用的是表格Q学习，这种配置采用了DRL方法来近似动作价值函数。图8报告了两次模拟中的平均胜率，其中攻击者的胜利意味着在检测之前到达数据节点，而防御者的胜利意味着在攻击者被攻破之前检测到攻击者。攻击者的平均胜率为70%，而防御者的平均胜率为30%，这表明在有限的训练预算下，基于DQN的防御者没有学会足够有效的策略。与场景2（训练了50,000个剧集的Q学习防御者）相比，这些结果表明，DQN防御者需要更多的训练和/或仔细的超参数调整才能在这个环境中达到相当的防御效果。图8. 场景3（DQN防御者，每次模拟2000个剧集）：两次模拟中攻击者和防御者的平均胜率。图9展示了场景3训练过程中的剧集持续时间（以秒计）。由于执行了两次独立的模拟，该图将两次运行连续起来，总共得到4,000个剧集（每次模拟2000个）。剧集持续时间对应于完成一个剧集所需的实际时间，因此提供了攻击者-防御者互动持续时间的间接指标，直到终止（攻击者攻破数据或防御者检测到攻击者）。如图9所示，平均持续时间在训练的大部分时间内保持较低，表明大多数剧集都很快终止了。然而，图表显示了一些偶尔但明显的峰值——尤其是在后期的模拟中——对应于互动持续时间较长的罕见剧集（或每个剧集的计算成本较高）。这些异常值表明，尽管剧集长度通常较短，但场景3偶尔会产生较长的运行。总体而言，相对较低的 average 持续时间与在扩展的训练预算下训练动态达到稳定状态相符，并且与图5中报告的防御者胜率提高一致。图9. 场景3：训练剧集中的剧集持续时间（两次模拟连续；每次模拟2000个剧集），并附有趋势可视化的平均曲线。图10展示了网络拓扑结构，并提供了场景3中攻击者位置的示例快照。在这个例子中，攻击者在到达数据节点之前就被阻止了，这与图5中的定量结果一致，其中防御者的平均胜率为81%。总体而言，场景3表明，将训练扩展到50,000个剧集可能使基于Q学习的防御者学习到更有效的策略，从而增加在目标被攻破之前检测并阻止攻击者的可能性。然而，这一观察结果仅限于本研究考虑的模拟环境和实验条件。图10. 场景4：训练剧集中的剧集持续时间（两次模拟连续；每次模拟50,000个剧集），并附有趋势可视化的平均曲线。图13展示了网络拓扑结构，并提供了场景4中攻击者位置的示例快照。在这个例子中，攻击者显示在深入网络的过程中，这与图8中的定量结果一致，其中攻击者的平均胜率为70%。总体而言，场景3表明，在有限的训练预算下，基于DQN的防御者没有达到场景2中训练更为广泛的表格Q学习所观察到的相同效果。这一观察结果可能突显了在将DRL技术应用于网络防御时，足够的训练时间和仔细的超参数调整的重要性。然而，这些发现仅限于本研究使用的模拟环境和特定实验设置。图13. 场景4：场景4表明，在扩展的训练预算下，基于DQN的防御者可以学习到非常有效的策略，使得在大多数剧集中都能阻止攻击者。这些结果表明，在这种设置中，足够的训练时间对于使基于DQN的防御者发挥有效作用非常重要。然而，这一观察结果仅限于本研究使用的模拟环境和特定实验设置。图13. 场景4显示，与场景2相比，在这里使用的有限训练预算下，基于DQN的防御者没有达到场景2中广泛训练的表格Q学习所观察到的相同效果，这突显了在将DRL技术应用于网络防御时，足够训练时间和仔细的超参数调整的重要性。4.4. 场景4评估了每次模拟50,000个训练剧集的DQN防御者（两次独立的模拟）。与场景3相同，这种配置也使用基于DRL的防御者来近似动作价值函数，而攻击者遵循之前场景中使用的相同学习设置。这个场景的目的是检查将DQN训练预算扩展是否会改善相对于场景3中有限预算情况的防御性能。图11报告了两次模拟中的平均胜率，其中攻击者的胜利意味着在检测之前到达数据节点，而防御者的胜利意味着在攻击者被攻破之前检测到攻击者。攻击者的平均胜率为7.40%，而防御者的平均胜率为92.60%，这表明在扩展的训练预算下，基于DQN的防御者学会了更为有效的策略。与场景3相比，攻击者在2000个剧集中仅取得了30%的平均胜率，这些结果表明，增加训练预算大大提高了DQN防御者检测和阻止攻击者在目标被攻破之前的能力。这一改进表明，在这种模拟环境中，基于DQN的防御者从更长的训练中受益匪浅，并能够在场景4的配置下获得强大的防御性能。图11. 场景4（DQN防御者，每次模拟50,000个剧集）：两次模拟中攻击者和防御者的平均胜率。图12展示了场景4训练过程中的剧集持续时间（以秒计）。由于执行了两次独立的模拟，该图将两次运行连续起来，总共得到100,000个剧集（每次模拟50,000个）。剧集持续时间对应于完成一个剧集所需的实际时间，因此提供了攻击者-防御者互动持续时间的间接指标，直到终止（攻击者攻破数据或防御者检测到攻击者）。如图12所示，平均持续时间在训练的大部分时间内保持较低，表明大多数剧集都相对较快地终止了。同时，图表显示了一些偶尔的峰值，对应于互动持续时间较长或每个剧集的计算成本较高的罕见剧集。尽管这些异常值出现在训练过程中，但平均持续时间总体上保持稳定，表明尽管偶尔会出现较长的运行，但训练过程总体上处于稳定状态。总体而言，相对较低的 average 持续时间与场景4配置下主要为短轨迹的情况相符，而图11中显示的强大胜率结果表明，更大的训练预算使DQN防御者能够实现有效的防御性能。然而，这一观察结果仅限于模拟环境和特定的实验设置。图12. 场景4：训练剧集中的剧集持续时间（两次模拟连续；每次模拟50,000个剧集），并附有趋势可视化的平均曲线。图13展示了网络拓扑结构，并提供了场景4中攻击者位置的示例快照。在这个例子中，攻击者在到达数据节点之前就被阻止了，这与图11中的定量结果一致，其中防御者的平均胜率为92.60%。总体而言，场景4表明，在考虑的扩展训练预算下，基于DQN的防御者可以学习到非常有效的策略。与场景3相比，这些结果可能表明，训练持续时间在使基于DRL的防御在这种设置中表现良好方面起着重要作用。然而，这些发现仅限于本研究使用的模拟环境和实验配置。图13. 场景4表明，将DQN训练扩展到50,000个剧集显著提高了防御者的性能，使得防御者在大多数剧集中都能阻止攻击者。这些结果表明，在这种设置中，当给予足够的训练时，基于DQN的防御者可以变得非常有效，尽管这个结论应在模拟环境和本研究中使用的特定超参数选择的范围内进行解释。为了提供超出个别场景结果的更广泛的定量比较，表4总结了在2000个和50,000个剧集的匹配训练预算下，Q学习和DQN的10次独立运行的性能，包括防御者/攻击者的胜率、总运行时间和平均剧集持续时间。在2000个剧集的情况下，DQN的防御者胜率显著高于Q学习（0.2742对比0.0572），表明在有限的训练预算下表现更好。然而，这种改进是以更高的计算成本为代价的，DQN平均需要56.568秒，而Q学习仅需要0.423秒。在50,000个剧集的情况下，两种方法都实现了强大的防御者性能，Q学习的平均胜率为0.8876，DQN为0.9203。因此，在匹配的预算下，DQN获得了最高的防御者胜率，而Q学习在计算效率上仍大大超过了DQN。特别是在50,000个剧集的情况下，DQN平均需要1708.929秒，而Q学习仅需要21.574秒。总体而言，表4显示了防御效果和计算成本之间的明显权衡。表4. 在匹配的训练预算下，10次独立运行中的性能和计算成本。5. 结论本文研究了在攻击图引导环境中使用强化学习进行自适应网络安全防御的方法。问题被构建为一个重复的随机攻击者-防御者游戏，其中两个代理通过互动进行学习。在评估的四个场景中，结果表明，当有足够的训练时，表格Q学习可以学习到有效的防御行为，而基于DQN的防御者展示了潜力，但需要更多的训练和仔细的调整。总体而言，这项研究支持了基于学习的防御在模拟自适应网络互动方面的前景。should be noted several limitations. The experiments were conducted in a specific simulated environment with a relatively small network topology, and the attacker and defender action spaces were intentionally simplified to keep the game tractable. In addition, the reward design was sparse and terminal-based, which may have affected convergence and training stability, particularly for Deep Reinforcement Learning. Although multiple-run statistical comparisons are now reported, the evaluation remains limited to the scenarios considered in this paper. A further limitation directly concerns the attacker model. In all four scenarios, the attacker was a tabular Q-learning agent and only the defender’s learning algorithm varied between the scenarios. While this design keeps the comparison across defender algorithms controlled and isolates the effect of tabular vs. deep function approximation on the defender side, it also means that the reported win rates are informative about defensive performance against a continuously learning but architecturally fixed adversary, not against a stronger deep-RL attacker. A natural and important extension is therefore to replicate all four scenarios with a DQN-based attacker that mirrors the defender’s neural architecture and operates on its own attack-side observation, turning the study into a full comparison across attacker and defender algorithm classes (tabular/deep × tabular/deep)。额外的攻击者基线（随机攻击者、贪婪启发式攻击者和最小最大值-Q攻击者）也值得包含在同一评估框架中。我们预计，在50,000集数据的DQN训练配置下，DQN攻击者的表现会降低防守者的胜率，同时保持表格方法和深度学习方法在运行时间上的排序关系；这一假设的验证工作将留待未来的研究。未来的工作将把该框架扩展到更大、更现实的网络环境中，使用更丰富的动作和观察模型，以及更强大的深度强化学习基线。此外，还需要评估框架在网络环境变化、未见过的攻击者行为以及训练与部署阶段数据分布变化情况下的鲁棒性，并使用更真实的网络数据和测试环境来验证该框架的有效性。