面向传感器与执行器攻击的分数阶非线性系统基于强化学习的预设时间安全控制

《Neural Networks》：Reinforcement Learning-Based Predefined-Time Secure Control for Fractional-Order Nonlinear Systems with Sensor and Actuator Attacks

　　

摘要
本文研究了同时受到传感器攻击和执行器攻击的受约束分数阶非线性系统的安全控制问题。为处理双攻击引起的效应，精心引入了一种基于非线性映射的坐标变换，将原始状态受约束系统转化为无约束形式。此外，通过将强化学习与预定义时间稳定性分析相结合，开发了一种自适应控制策略以实现预定义时间收敛。所提出的方法增强了系统的瞬态响应，同时加速了跟踪误差和策略学习过程的收敛。本文提出了一种新的基于重置的自触发机制。一方面，所开发的机制减少了通信负载并消除了对连续状态监测的需求。另一方面，采样间隔可根据系统状态自适应调整，从而进一步减轻计算负担。在所开发的控制策略下，闭环系统保证实现半全局实用预定义时间稳定性，所有信号在预定义时间内收敛到原点的有界邻域内。

引言
分数阶非线性系统是整数阶非线性系统的推广（Ding, Ge, Xiong, Liu, Ling, 2023, Yang, 2025）。由于其固有的记忆性和非局部特性，它们能够融合系统的全局信息，因而在表征复杂动力学行为方面相比整数阶模型具有优势。此外，它们已被广泛应用于黏弹性（Long et al., 2018）、超混沌经济系统（Yousefpour et al., 2020）、神经动力学系统（Huang, Fu, Wang, Cao, Liu, 2024a, Huang, Wang, Cao, Liu, 2026）和生物动力学（Ding et al., 2012）等领域。近年来，分数阶非线性系统（FONS）在控制领域的研究不断取得进展，控制方法也取得了重大进步。Wei等（2016）针对已知系统动力学的FONS开发了一种反步控制方案。Huang等（2024c）和Huang等（2024b）研究了具有两种不同时间延迟的分数阶中性型神经网络的混沌行为。在系统动力学未知的情况下，Li等（2021）提出了一种自适应容错控制策略，其中采用模糊逻辑系统来逼近未知函数。Fei等（2022）利用神经网络估计未知动力学，并建立了一种分数阶滑模控制方法。此外，Zouari等（2018）为FONS提出了一种鲁棒跟踪控制方法，其中引入区间二型模糊逻辑系统（IT2FLS）来有效逼近系统不确定性。需要指出的是，上述研究普遍忽视了攻击对系统稳定性和控制性能的影响。然而，由于网络通信的开放性和固有复杂性，系统不可避免地会遭受网络攻击。

近年来，随着信息物理系统和网络化控制技术的快速发展，控制系统中的安全问题引起了越来越多的关注（Li, Gan, Wu, Cao, Kang, 2025, Zhao, Yang, 2025, Zhu, Martinez, 2014）。网络攻击模型一般分为三类：拒绝服务攻击（Li et al., 2025）、重放攻击（Zhu and Martinez, 2014）和欺骗攻击（Zhao and Yang, 2025）。其中，欺骗攻击由于其隐蔽性和恶意特性而构成更大的挑战，因为它们通过注入虚假数据来破坏系统测量值，比其他类型的攻击更难检测和缓解。Zhao和Yang（2025）针对受欺骗攻击的受约束FONS提出了一种模糊弹性控制方法。为进一步提高收敛速率，Bi等（2026）针对受欺骗攻击的系统提出了一种预定义时间控制策略。值得注意的是，现有针对FONS的研究主要集中于传感器欺骗攻击，而执行器攻击及其与传感器攻击的联合效应尚未得到系统研究。同时考虑执行器攻击和传感器攻击可以更真实地表征网络化控制系统中的安全风险。然而，这两类攻击在闭环系统中的同时影响会导致更复杂的误差结构，从而显著增加了系统建模和稳定性分析的难度。此外，Li等（2025）、Zhao和Yang（2025）、Zhu和Martinez（2014）以及Bi等（2026）中的现有方法需要连续更新控制器信号，这不可避免地增加了不必要的通信消耗。

为减少不必要的资源消耗，各种事件触发机制已被开发出来，包括动态事件触发控制（ETC）方案（Cao, Nie, 2021, Tajudeen, Perumal, Thakur, Priya, 2024, Wang, Dong, 2020）、切换ETC策略（Yang et al., 2024）和重置ETC方法（Wang and Dong, 2023）等。Tajudeen等（2024）研究了欺骗攻击下的自适应事件触发安全控制问题。Yang等（2024）研究了一种基于切换事件触发机制的模糊二分图一致性方案。与传统ETC机制不同，Wang和Dong（2023）开发了一种具有动态变量的事件触发机制，以进一步减少资源消耗。尽管这些方法可以减少通信频率，但动态事件触发机制仍需要传感器连续监测状态，导致额外的计算负担。为解决此问题，Liu等（2024）、Wang等（2022）和Song等（2026b）提出了自触发控制（STC）。该机制在每次控制更新时预测下一个触发时刻，从而避免了对连续状态监测的需求。然而，Liu等（2024）、Wang等（2022）和Song等（2026b）中提出的自触发控制策略仍可能导致不必要的计算负担，因为采样间隔无法根据系统状态进行自适应调整。尽管Liu等（2024）和Wang等（2022）提出的方法可以有效减少资源消耗，但它们并未考虑性能优化。优化问题可以通过求解Hamilton-Jacobi-Bellman（HJB）方程来获得相应的最优值函数。然而，由于系统动力学的复杂性，获得HJB方程的解析解通常是不可行的。

为解决此问题，强化学习（RL）因其自学习和自适应能力而被广泛采用为有效工具（Li, Dong, 2024a, Li, Dong, 2024b, Modares, Lewis, Jiang, 2015, Qin, Hou, Pang, Wang, Qiu, 2026a, Qin, Pang, Wang, Hou, Zhang, 2026b, Qin, Sun, Sun, Qiu, Zhang, 2026c, Song, Xing, Song, Zhang, Lam, 2026a, Tan, Xue, Cao, Chen, 2026a, Tan, Xue, Cao, Chen, 2026b, Wen, Chen, Li, 2020, Zhong, Qin, Wu, Zhang, Zhu, Jiang, 2025）。Li和Dong（2024a）采用策略迭代算法逐步逼近最优值函数和控制策略。Modares等（2015）研究了基于离策略RL的H∞跟踪控制问题。Tan等（2026b）为同时受到状态和输入约束的非线性系统开发了一种预规定时间最优跟踪方案。此外，Tan等（2026a）开发了一种基于Actor-Critic学习的双时钟保证时间近最优控制策略。为减少资源消耗，为具有严格状态约束的非线性系统开发了一系列事件触发最优控制方法（Qin, Hou, Pang, Wang, Qiu, 2026a, Qin, Pang, Wang, Hou, Zhang, 2026b, Zhong, Qin, Wu, Zhang, Zhu, Jiang, 2025）。对于未知的FONS，Li和Dong（2024b）和Wen等（2020）研究了事件触发模糊RL方法。为减少对触发条件连续监测的需求，Qin等（2026c）开发了一种自触发控制策略，但未考虑网络攻击。此外，Song等（2026a）提出了针对受欺骗攻击的FONS的最优安全控制方案。据我们所知，传感器攻击和执行器攻击联合作用下FONS的基于RL的控制问题尚未得到解决。

受上述研究的启发，本文研究了同时受到传感器攻击和执行器攻击的受约束FONS的基于RL的预定义时间安全控制问题。一方面，传感器攻击和执行器攻击的共存导致更复杂的误差动力学，显著增加了稳定性分析的难度。另一方面，现有针对FONS的自触发机制无法根据系统状态自适应调整采样间隔，从而仍造成不必要的计算开销。因此，有必要开发一种新型自触发机制以实现更高效的资源利用。本文通过结合预定义时间稳定性、强化学习和自触发控制，为同时受到传感器攻击和执行器欺骗攻击的FONS开发了一个安全控制框架。相应地，本文的主要贡献总结如下：

(1) 与仅考虑传感器欺骗攻击的现有研究（Zhao and Yang, 2025）和Bi等（2026）不同，本文同时处理了传感器攻击和执行器攻击的耦合效应。为处理双攻击引起的效应，开发了一种基于非线性映射的坐标变换，将原始状态受约束系统转化为无约束形式。该变换在补偿双攻击引起的影响的同时处理状态约束。与基于BLF的方法（Zhao and Yang, 2025）和Wang等（2025）相比，所提出的方法消除了额外的约束相容性要求，从而增强了控制方案的适用性。此外，本文设计了一种分数阶预定义时间滤波器，保证系统误差在预定义时间内实现快速收敛，且独立于初始条件。

(2) 提出了一种新的基于重置的自触发机制。与Cui和Tong（2023）、Li和Dong（2024b）、Yang等（2024）和Wang和Dong（2022）中的现有ETC方案相比，所提出的自触发机制引入了重置变量及其更新策略，从而消除对连续状态监测的需求。与Liu等（2024）、Wang等（2022）和Song等（2026a）中的自触发方法相比，所提出的方案通过重置变量的参数调节实现触发时刻的自适应调整，从而进一步减少不必要的资源消耗。

本文其余部分安排如下。第2节介绍预备知识并表述本文所研究的问题。第3节提出了针对传感器和执行器欺骗攻击的预定义时间安全控制策略。第4节对已开发控制方案的稳定性进行了严格分析。第5节报告仿真结果以验证所提出方法的有效性，第6节对全文进行总结。

**预备工作**

**定义1** [Diethelm, Ford, 2002, Kilbas, Trujillo, 2001] 对于任意t > 0，Caputo分数阶积分可表示为：
D??φ(t) = Γ?1(β)∫?? φ(v)(t?v)??1 dv，
其中φ(t): (0, ∞) → ?且β > 0。

**定义2** [Diethelm, Ford, 2002, Kilbas, Trujillo, 2001] 对于任意t > 0，Caputo分数阶导数可表示为：
D?φ(t) = Γ?1(n?β)∫?? φ???(v)(t?v)????1 dv，
其中β > 0，n定义为不小于β的最小整数。

**定义3** [Diethelm, Ford, 2002, Kilbas, Trujillo, 2001] 设p、q为常数，z为复数。Mittag-Leffler函数定义为：
M?,?(z) = Σ?=?^∞ z?/Γ(kp+q)。
在特定情况下，若p=1且q=1，则M?,?(z) = e?。对于q=1的情况，我们可以……

**非线性映射**
为确保受攻击状态始终低于规定上界，引入以下非线性映射μ?(t) = x??/(b? ? x??)，其中b? > 0，当且仅当x?? → b?时μ?(t) → ∞。则μ?(t)的反映射可表示为：
x?? = b?μ?/(1+μ?)

μ?的导数可得到：λμ? = b?/(b??x??)2。由于非线性映射函数的凸性，由引理1可得D?μ? ≤ λμ?D?x??。根据条件(13)，我们进一步得到：
D?μ? ≤ λμ?(h?D?x?? + x?D?h?)

**稳定性分析**
至此，主要结果陈述于定理1。

**定理1** 考虑(12)中的FONS。在假设1下，通过采用虚拟控制律(31)、(45)和(60)，模糊自适应律(25)、(41)和(56)，Actor-Critic神经网络更新律(32)-(34)、(46)-(48)、(61)-(63)以及非线性预定义时间滤波器(20)，结合重置自触发机制(51)-(54)，系统可以实现以下结果：
1. 系统(12)具有SGPPTS（半全局实用预定义时间稳定性）。
2. 系统所有信号在预定义时间内收敛到有界邻域内。

**仿真示例**

**例1** 考虑以下同时受到传感器攻击和执行器攻击的分数阶非线性系统：
{D?·??x? = x? + 0.1x?sin(2x?),
D?·??x? = ū(t) + 0.2x?cos2(x?) + 0.1cos(2t),
y = x?

系统初始化为x?(0) = 0.12，x?(0) = ?0.12。η??(0) = η??(0) = ???(0) = ???(0) = 0，???(0) = ???(0) = ?c?(0) = ?c?(0) = 0.1。所有其他未指定的初始条件均设为零。相关设计参数为：p=2，q=5，c?=45，c?=50，κ??=0.3，κc?=0.25（i=1,2），T?=9，ν?=0.6，l??=0.4，?=??=0.025，ρ?=12(112)ν?2l??ν?T?

**结论**
本文聚焦于一类受到传感器欺骗攻击和执行器欺骗攻击的受约束分数阶非线性系统，解决了自适应模糊预定义时间基于RL的安全控制问题。

为了处理状态约束问题，引入了一种基于非线性映射的坐标变换，该方法消除了现有方法中通常施加的约束相容性要求。此外，通过将预定义时间稳定性理论与强化学习相结合，一种
CRediT 作者贡献声明
梁春宇：撰写 – 初稿，方法论。
王芳：撰写 – 审查与编辑，方法论，概念构思。
王震：监督，形式分析，概念构思。
赖冠宇：撰写 – 审查与编辑，验证，概念构思。
利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文所报道的工作。
致谢
本工作部分得到了国家自然科学基金的资助（项目编号：62273210）。
梁春宇|王芳|王震|赖冠宇