在互联系统中实现故障和攻击的最佳可区分检测：一种斯塔克伯格博弈方法

《Automatica》：Optimal distinguishable detection of faults and attacks in interconnected systems: A Stackelberg game approach

　　摘要
本文研究了在网络层受到虚假数据注入攻击（FDIA）的同时，物理层出现执行器故障的互连系统（ISs）中的最优可区分检测（DD）问题。首先，构建了一个基于斯塔克伯格博弈的双观察器框架，包括一个跟随者观察器-攻击检测器和一个领导者观察器-故障检测器，以在检测层面获得对攻击/故障敏感的残差。其次，设计了两个独立的辅助策略，使观察器能够在策略层面最小化故障信号对跟随者观察器-攻击检测器以及攻击因素对领导者观察器-故障检测器的影响。通过使用与残差相关的检测阈值，实现了ISs中执行器故障和FDIA的最优DD性能，同时提高了检测时间和检测精度。第三，开发了基于优势函数的演员-评论家神经网络，以促进辅助策略向最优检测目标的更新，实现了两种辅助策略之间的斯塔克伯格均衡。理论证明显示，跟随者观察器-攻击检测器、领导者观察器-故障检测器和最优辅助策略的状态估计误差是有界的。最后，仿真验证了基于斯塔克伯格博弈的ISs中故障和攻击检测的有效性和适用性。

引言
互连系统（ISs）整合了计算、通信和物理过程，通过连接性和交互实现智能和高效的操作。它们应用于工业互联网、物联网和智能电网等领域。随着网络开放性的增加和互连设备数量的增长，ISs面临来自网络攻击和物理故障的双重威胁。Li等人（2019）和Shi等人（2020） reviews了ISs在物理层和网络层的安全挑战。物理故障和网络攻击表现出类似的破坏行为，导致检测过程中的误报和漏报，并可能引发重大事故（Taheri等人，2024）。ISs容易受到各种网络威胁，包括恶意软件（Li等人，2022）、拒绝服务（Wang等人，2022）和虚假数据注入（Liu等人，2021；Xu等人，2022）。恶意攻击者倾向于通过通信链路秘密破坏系统组件之间的信息交换（Geng等人，2023），从而降低信息交换的准确性。然而，虚假数据注入（FDIAs）是对信息连接完整性的主要威胁（Zhang & Venkitasubramaniam，2019）。Wan和Dragicevic（2022）讨论了一种基于信号时间逻辑的攻击检测技术，用于检测孤立直流微电网中的FDIAs，实现了这些攻击的定位和量化。ISs还容易受到物理威胁，如执行器故障（Wen等人，2017）、传感器故障（Khan等人，2020）和组件故障（Diedrich和Niggemann，2022；Guo等人，2022）。特别是执行器故障，由于它们对系统稳定性的影响和可能导致系统完全崩溃的潜力，引起了广泛的研究关注（Ji等人，2022）。Khan等人（2020）探讨了二阶网络系统的故障检测问题，设计了一种基于集成滤波器的分布式检测方案，实现了一步故障检测和隔离。然而，关于同时检测ISs中的故障和攻击的研究仍然不足，尤其是在区分FDIAs和执行器故障方面。

在ISs中故障和攻击的可区分检测（DD）领域，传统的数据驱动（Takiddin等人，2022）和基于模型的（Huang等人，2022）方法在准确识别和区分这些问题方面面临挑战。Hu等人（2024）提出了一种基于观察器的鉴别器，通过残差生成和评估机制结合了自适应估计和水印技术来区分重放攻击和传感器故障。单个观察器由于其特殊性，只能检测特定类型的攻击或故障（Su等人，2024），这在面对多个并发故障和攻击时可能导致检测不足。Habibi等人（2020）为直流微电网设计了一种监控架构，包括两种类型的观察器，并独立分析每种观察器的输出，以更有效地识别网络物理威胁。双观察器架构（Barboni等人，2020；Liu等人，2025；Nemati等人，2019）通过结合具有不同检测特性的两个观察器，不仅提高了识别和检测攻击和故障的准确性和效率，还增强了DD能力以应对复杂模式。一种观察器对故障敏感但对攻击不敏感，而另一种观察器对攻击敏感但对故障不敏感。因此，基于双观察器技术开发高效的DD策略对于区分ISs中的FDIAs和执行器故障非常有用。

为了在攻击和故障之间的DD过程中实现双观察器的最佳性能，引入了斯塔克伯格博弈（Fang等人，2018；Xu等人，2015）作为交互式检测策略的框架。斯塔克伯格博弈也称为领导者-跟随者博弈，涉及领导者首先制定和实施策略，然后跟随者作出响应，使领导者能够根据这些响应调整策略以优化结果。最近的进展证明了斯塔克伯格博弈理论在网络安全中的有效性。Chen等人（2022）将这一框架应用于DDoS检测，实现了70%的低采样开销而没有降低效率。Yu等人（2023）为不确定系统中的多目标优化开发了一种领导者-跟随者机制。虽然这些工作验证了斯塔克伯格博弈在分层决策中的应用，但它们在并发攻击-故障检测中的应用尚未得到解决。通过模拟双观察者的决策交互，斯塔克伯格博弈模型优化了攻击和故障检测策略，从而实现了最优DD。Xu等人（2021）使用斯塔克伯格博弈描述了跟随者（观察者）和领导者（控制器）之间的双向交互，通过顺序决策实现了最优状态估计和容错控制。Xing等人（2025）研究了线性-二次平均场斯塔克伯格微分博弈，描述了领导者与多个跟随者之间的耦合，并在跟随者局部最优分散策略下证明了近似的斯塔克伯格均衡。因此，基于斯塔克伯格博弈策略开发双观察器检测方案（即跟随者观察器（FO）和领导者观察器（LO）对于实现ISs中FDIAs和执行器故障的最优DD至关重要。

关于互连系统中故障和攻击的可区分检测的现有研究可以大致分为两类：基于双观察器的方案和基于博弈/学习的方案。前者主要关注检测层面的残差构建，但没有明确抑制在同时异常情况下故障相关和攻击相关残差之间的交叉耦合。后者提供了决策或优化机制，但尚未针对具有耦合观察器动态和故障与攻击检测任务之间分层交互的可区分检测问题进行开发。因此，仍然需要开发一个统一的框架，能够同时解决残差解耦、分层观察器交互和在线策略优化，以实现故障-攻击的可区分检测。

挑战：
（i）在同时异常情况下，故障相关和攻击相关的残差本质上是纠缠的。如果没有分层（领导者-跟随者）的角色分配，每个观察器都对这两种干扰敏感，这使得可区分检测变得困难。因此，需要一个原则性的机制来决定哪个观察器先行动以及哪个随后响应，以实现残差解耦。
（ii）准确的估计需要两个观察器交换局部和邻域状态信息，而斯塔克伯格博弈强加了一个非对称的决策结构，即领导者先行动，然后跟随者做出响应。调和这种估计合作与分层决策的不对称性构成了第二个关键难点。
（iii）由于领导者的策略显式地进入了跟随者的成本函数，因此产生的Hamilton–Jacobi–Bellman方程变得高度耦合和维度很高。直接的离线解决方案因此受到维数灾难的影响，这激发了开发一种能够保持斯塔克伯格均衡的在线和收敛近似方法的需求。

本研究的主要贡献可以总结如下：
（i）与数据驱动（Takiddin等人，2022）和基于模型的（Huang等人，2022）方法不同，本文开发了一个基于斯塔克伯格博弈的双观察器框架，用于识别互连系统中同时发生的执行器故障和FDIAs。与Barboni等人（2020）和Liu等人（2025）不同，它们没有明确处理故障和攻击引起的残差组件之间的交叉耦合，所提出的方案引入了一个分层检测结构，以减弱故障信号对FO和攻击相关因素对LO的影响。结合与残差相关的阈值，这提高了检测的及时性并减少了误报/漏检。
（ii）开发了一种耦合的双观察器机制，以实现检测层面的合作交互。特别是，将跟随者观察器-攻击检测器（FO-AD）生成的邻域状态估计整合到领导者观察器-故障检测器（LO-FD）中，以提高局部估计精度，同时将LO-FD的局部状态估计反馈给FO-AD，以增强邻域估计性能。这种耦合为互连系统中的可区分检测提供了所需的估计基础。
（iii）引入了一个辅助策略层，以实现策略层面的领导者-跟随者交互。通过基于优势函数的演员-评论家（A2C）神经网络，LO-FD作为故障检测的领导者更新其策略，而FO-AD根据领导者的行动调整其策略以进行攻击检测。这样就为耦合的HJB方程建立了一个在线近似框架，实现了提出的检测架构的策略更新以及斯塔克伯格均衡。

本文的其余部分组织如下：第2节介绍初步内容和问题表述。第3节致力于基于斯塔克伯格博弈的双观察器设计。第4节提出了最优DD设计。第5节通过仿真进行了说明，第6节给出了结论。

系统描述与故障/攻击建模
考虑由N个子系统组成的ISs。第i个子系统建模为：
$$
x?i(t) = A_i x_i(t) + \xi_i(t) + B_i u_i(t) + B_f i(t), \quad y_i(t) = C_i x_i(t)
$$
其中 $x_i(t) \in \mathbb{R}^n$、$u_i(t) \in \mathbb{R}^m$ 和 $y_i(t) \in \mathbb{R}^p$ 分别表示第i个子系统的状态、控制输入和输出。$\xi_i(t) = \sum_{j \in N_i} A_{ij} x_j(t)$ 表示相邻子系统之间的物理连接，其中 $N_i$ 表示物理图Gp中第i个子系统的相邻子系统集合，$A_{ij}$ 描述了物理层中的连接。

基于斯塔克伯格博弈的双观察器
本节提出了一种基于检测层面的耦合双观察器框架，包括基于未知输入观察器（UIO）的FO-AD和基于Luenberger观察器的LO-FD。开发的基于斯塔克伯格博弈的领导者-跟随者观察器用于获得对攻击/故障敏感的残差，并有效检测执行器故障和FDIAs。

最优DD设计
本节提出了策略层面的独立辅助策略，通过最小化成本函数来推导FO-AD的最优$\mu_j^*（t）和LO-FD的最优$\nu_i^*（t）。通过更新策略，开发了两个A2C神经网络，从而实现了最优DD目标以及策略$\mu_j^*（t）和$\nu_i^*（t）之间的平衡。

仿真结果
本节通过两个数值仿真案例验证了最优DD方法的有效性和适用性。此外，还对最优DD方法、不使用斯塔克伯格博弈的双观察器基于DD方法和联合残差分析（JRA）方法（Diedrich和Niggemann，2022；Liu等人，2021）进行了比较。结果表明了最优DD方法的准确性和优越性。为了公平比较，所有方法都在相同条件下进行了评估。

结论
本文提出了基于斯塔克伯格博弈的最优DD方案，用于处理考虑中的ISs在网络层的同时FDIAs和物理层中的执行器故障。首先，构建了由FO-AD和LO-FD组成的耦合斯塔克伯格博弈双观察器框架，以在检测层面获得对攻击/故障敏感的残差。随后，在策略层面为双观察器设计了两个独立的辅助策略，最终实现了最优DD。

周硕于2023年从上海大学获得了电气工程与自动化专业的学士学位，目前在上海大学未来技术学院攻读控制科学与工程专业的硕士学位。他的研究兴趣包括强化学习和复杂网络系统的故障诊断。