利用分层强化学习在工业网络物理系统中实现自主且适应性强的网络事件检测与响应

《ACM Transactions on Cyber-Physical Systems》：Autonomous and Adaptive Cyber Incident Detection and Response in Industrial Cyber-Physical Systems using Hierarchical Reinforcement Learning

工业Cyber-Physical Systems（CPS）因网络开放面临网络安全威胁，其防御系统依赖动态调整的检测阈值。本文提出基于分层强化学习（HRL）架构的解决方案，通过自主检测网络动态失衡并调整阈值范围，平衡误报率和响应成本。实验验证了四种HRL变体的有效性，显著优于传统静态方法，为工业CPS构建自主检测系统提供新路径。

　　

摘要

信息物理系统（CPS）是许多关键基础设施的支柱。然而，由于物理空间与网络空间的深度融合，它们带来了前所未有的安全漏洞和攻击途径。特别是在工业CPS环境中，网络的开放性使系统容易受到外部网络威胁的攻击。工业CPS的安全性在很大程度上依赖于网络事件检测与响应系统，这些系统对于确保信息物理过程的持续正常运行至关重要。这些防御系统的关键配置参数之一是检测阈值。然而，找到一个能够在漏检率和误报率之间取得平衡的最佳阈值仍然是一个具有挑战性的问题。在本文中，我们提出了一种新颖的方法，该方法利用分层强化学习（HRL）架构来自动检测工业CPS网络中的动态不稳定性，并通过调整网络事件检测与响应阈值范围来最小化潜在事件的影响。我们开发并测试了四种HRL算法变体，每种变体都提供了优化的途径，同时具有各自的优缺点。我们的智能体通过评估预期的风险和潜在损害来动态选择这些阈值范围。此外，智能体的选择过程旨在减少误报率以及调整所选阈值范围所带来的成本。所有四种算法调整都表明，与静态方法相比，HRL在构建自适应信息物理防御系统方面具有有效性。实验结果表明，我们提出的技术对于构建工业CPS中的自主网络事件检测系统非常有效。