《Journal of Intelligent and Connected Vehicles》:CB-D3QN: Malware Propagation Defense for Edge Intelligence Based Industrial Internet of Things via a Colonel Blotto Game-Enhanced Dueling Double Deep Q-Network Approach
编辑推荐:
基于边缘智能的工业物联网(IIoT)系统中的恶意软件传播是一个严峻挑战。资源是不对等的——攻击者可将所有资源集中于一个目标,而防御者必须同时保护所有组件。为解决这一挑战,研究人员构建了CB-D3QN,这是一种利用非对称Colonel Blotto博弈理论和对偶
基于边缘智能的工业物联网(IIoT)系统中的恶意软件传播是一个严峻挑战。资源是不对等的——攻击者可将所有资源集中于一个目标,而防御者必须同时保护所有组件。为解决这一挑战,研究人员构建了CB-D3QN,这是一种利用非对称Colonel Blotto博弈理论和对偶双深度Q网络(D3QN)的防御方法。研究人员将攻击者与防御者之间的对抗视为一个双方拥有不同资源量的Colonel Blotto博弈,这符合真实IIoT恶意软件攻击的情况。CB-D3QN结合了Colonel Blotto博弈与D3QN,并利用深度强化学习找到平衡点并优化防御策略。该系统考虑了恶意软件行为历史、资源分配方式以及各区域的优劣势。研究人员将CB-D3QN与其它先进方法进行对比评估,实验结果表明,该方法实现了更高的恶意软件缓解成功率(MSR)、更长的系统韧性(SR)以及更低的误干预率(FIR)。
**论文解读:CB-D3QN——基于Colonel Blotto博弈增强的对偶双深度Q网络在边缘智能工业物联网恶意软件传播防御中的应用**
**研究背景与问题**
边缘智能工业物联网(IIoT)系统在人工智能(AI)和第五代(5G)网络推动下,将计算能力分布于云计算中心、边缘智能节点和IIoT设备三层。这种架构实现了快速决策,降低了延迟,但也带来了严峻的安全挑战:恶意软件可利用边缘智能节点的互联性快速传播,破坏关键工业流程。现有防御面临核心问题——资源不对称。攻击者可将全部资源集中于一个目标,而防御者必须同时保护所有组件,且资源有限。纯粹博弈论方法虽能提供理论最优解,但假设完全信息且缺乏对新型攻击模式的适应性;纯粹机器学习方法缺乏战略资源管理基础,在对抗条件下可能表现不可预测。现有混合方法未能充分解决边缘智能IIoT安全中的资源不对称问题。
**研究目的与意义**
为应对上述挑战,研究人员提出了CB-D3QN(Colonel Blotto增强的对偶双深度Q网络),一种结合非对称Colonel Blotto博弈理论与深度强化学习的混合框架,用于边缘智能IIoT恶意软件防御。该论文发表在《Journal of Intelligent and Connected Vehicles》。重要意义在于:首次在IIoT恶意软件防御中明确建模资源不对称(攻击者10单位资源,防御者3单位资源),利用Colonel Blotto博弈的离散战场框架和D3QN的适应性学习,实现战略最优性与自适应性的平衡,显著提升了恶意软件缓解成功率(MSR)、系统韧性(SR)并降低了误干预率(FIR)。
**主要技术方法**
研究人员采用以下关键方法:1)构建非对称Colonel Blotto博弈模型,将8种防御策略映射为8个离散战场,基于战场价值(如保护能力、威胁等级)和资源约束计算最优分配;2)提出D3QN深度强化学习架构,通过分离状态价值函数和动作优势函数提高Q值估计精度;3)设计混合决策机制,根据当前感染率动态调整博弈理论策略与D3QN学习策略的权重(感染率高时优先博弈理论,感染率低时优先学习);4)采用改进的SIRS(易感-感染-恢复-易感)传播动力学建模恶意软件在IIoT网络中的传播,并基于100个异构IIoT设备(传感器40%、控制器35%、网关10%)的仿真环境进行验证。
**研究结果**
**5.1 性能比较与系统韧性分析**
通过对比不同攻击成功率下的MSR、FIR和SR,发现CB-D3QN在所有攻击条件下均保持MSR为95.5%-96%,远高于其他基线方法(低于92%)。FIR最低(4.1%-4.5%),比随机策略(CB-Random)降低约47%。SR在攻击成功率为0.1时达366时间单位,攻击成功率为0.5时达267时间单位,比CB-Random提高434%。这表明Colonel Blotto博弈框架能动态分配资源,有效应对不同强度的攻击。
**5.2 资源效率与成本分析**
攻击成本分析显示,CB-D3QN迫使攻击者平均消耗1.70资源单位,高于其他方法,且随攻击成功率变化保持稳定。防御成本稳定在约2.07资源单位,通过Colonel Blotto优化实现高效利用,而随机策略成本高达2.48。资源竞争指数为0.45,优于基线方法,表明Nash均衡特性将防御资源导向关键传播节点。
**5.3 学习能力与适应性分析**
自适应学习效率达0.288-0.292,高于CB-ML(0.257-0.263),表明混合机制能快速识别新传播模式。防御学习奖励在400个训练回合后稳定在15.8,收敛速度快,D3QN学习与Colonel Blotto战略稳定性相辅相成。
**5.4 博弈均衡与战略分析**
防御效用维持在14.7-14.9,攻击效用被限制在6.92-6.94,带来显著效用差距,削弱攻击者持续攻击的动机。而随机策略下防御效用与攻击效用接近(7.9 vs 7.35),易激励攻击者。
**总结与结论**
讨论部分指出,CB-D3QN在500轮扩展攻击场景中保持MSR>95%、SR>260,得益于三大机制:动态资源分配、智能学习组件快速响应新型恶意软件、稳定博弈均衡降低攻击获利。研究结论翻译如下:IIoT系统中的恶意软件防御面临核心问题——资源不对称。IIoT攻击者可将资源集中于特定目标,而边缘智能防御者必须用更少资源保护所有组件。CB-D3QN通过结合Colonel Blotto博弈理论与D3QN解决了这一问题。该方法利用Colonel Blotto博弈建模资源不对等下的攻防交互,确定多目标上的最优防御分配,所得均衡最大化防御者战略优势。从实践角度,研究人员设计了结合博弈均衡与深度强化学习的混合学习机制,通过动态权重调整平衡理论最优性与适应性学习。经过500轮、100个异构IIoT设备的广泛仿真,CB-D3QN实现了95.8%的MSR和267-366时间单位的SR,优于基线方法。与纯机器学习、纯博弈理论基准对比,CB-D3QN的混合机制比随机防御策略提高SR 434%,同时保持稳定资源利用。