针对拒绝服务攻击下的最优跟踪控制，基于偏差补偿的Q学习方法

《ISA Transactions》：Bias-compensated Q-learning for optimal tracking control under denial-of-service attacks

　　苏振寰|刘光宇•提出了一种用于控制通道DoS攻击的偏置补偿Q学习方法。•通过无偏贝尔曼关系消除了期望值的计算。•利用强化学习的系统结构实现了里卡蒂等价性。•通过经验回放提高了在DoS损失下的数据效率。

引言
随着网络与控制的深度融合，网络控制系统在工业过程、电力系统、智能交通等领域得到了广泛应用[1]、[2]、[3]。与此同时，这些系统的通信链路容易受到干扰和恶意攻击的影响，这可能会降低闭环性能甚至使系统失稳。其中，破坏通信的拒绝服务（DoS）攻击[4]、[5]、[6]、[7]已成为导致性能下降的主要因素。与随机扰动或过程噪声[8]不同，DoS攻击会直接影响通信通道上控制或测量信号的可用性，从而导致系统信息或控制效果的间歇性丢失。面对这些挑战，如何在DoS攻击下保持闭环性能通常被转化为一个最优控制问题，针对不同类型的系统已经提出了多种解决方法[9]、[10]、[11]、[12]、[13]、[14]。

在这些应用中，离散时间线性时不变（LTI）系统因其简单性和广泛适用性而被广泛用作建模选择。在DoS攻击下，控制目标被设定为在条件期望下最小化长期二次成本[15]、[16]。传统解决方案依赖于求解基于模型的离散代数里卡蒂方程（DARE）[17]；然而，由于它们依赖于精确的系统模型，当系统动态不确定或未知时，其适用性就会受到限制。

作为替代方案，数据驱动方法越来越受到关注。这类方法大致可分为两类：(i)从数据中学习系统动态[18]以辅助控制器设计；(ii)直接从数据中学习控制策略。第一类方法通常被称为参数识别，其目的是从输入输出数据中构建近似系统模型，为后续控制器设计提供基础。由于这些方法与本研究关联度较低，此处不再详细讨论。

第二类方法旨在通过与环境的交互，直接从状态和控制输入数据中学习控制策略。在这些方法中，强化学习（RL）[19]、[20]、[21]已成为数据驱动最优控制的一种强大工具。它为具有长期性能指标的最优控制问题提供了系统化的解决方案，这一特点促使人们将其应用于存在通信约束的网络控制系统。例如，[17]、[22]、[23]、[24]中的研究将RL应用于未知动态下的最优跟踪控制问题，取得了稳定的闭环性能并提升了数据效率。此外，[25]、[26]、[27]、[28]、[29]、[30]、[31]、[32]、[33]、[34]、[35]中的研究则针对受DoS影响的控制系统，实现了具有更强抗干扰能力的数据驱动稳定控制。这些研究展示了RL在数据驱动控制中的潜力，尤其是在系统存在不确定性以及网络缺陷的情况下。

据我们所知，尽管在控制通道DoS攻击下的最优跟踪（包括作为特例的最优调节控制）在网络控制系统中具有实际应用价值，但目前还没有任何方法能够以数据驱动的方式直接解决这一问题。有一些基于RL的代表性研究解决了相关的网络控制问题。例如，[17]、[22]、[23]、[24]中的RL方法解决了通用最优跟踪控制问题，但并未明确考虑DoS攻击场景，即控制通道中断会导致由于随机输入损失而产生的有偏贝尔曼更新。在[25]、[26]、[27]、[28]中，考虑的是测量通道上的DoS攻击，此时会使用观测器来重建缺失的测量值；然而，这种重建方式无法解决控制通道DoS攻击导致的控制效果丧失问题。[29]、[30]、[33]中的方法基于时差RL更新，且没有充分利用系统结构，从而导致数据效率低、收敛速度慢，限制了其在嵌入式LTI系统中的应用。[31]、[32]中的方法是为连续时间系统在连续时间RL框架内开发的，因此与本研究所考虑的场景不兼容。[34]、[35]中的贝尔曼方程包含期望项，而这些期望项在无模型环境中无法直接计算，必须通过蒙特卡洛抽样来近似，给实际应用带来了挑战。

正是出于对这一缺口的考虑，我们提出了一种偏置补偿的RL Q学习方法。(i)我们针对二进制控制通道DoS攻击下的LTI系统，引入了一种带有补偿机制的单样本公式，这使得可以在不进行期望值计算的同时保持贝尔曼等价性。(ii)我们基于已知的LTI系统结构，采用了一种知识引导的Q函数二次参数化方法。这种知识引导的设计将先前的结构信息纳入学习过程，从而提高数据效率并促进最优解的收敛。(iii)在RL Q学习框架中，我们明确区分了行为策略和目标策略，这样就可以在任意行为策略下收集数据，并通过经验回放重用过去的轨迹。这提高了学习的灵活性和样本效率。

为了验证所提出的方法，我们从实际出发，以线性系统表示为基础，设计了一个平面四旋翼飞行器的案例研究，并在控制通道遭受DoS攻击的情况下对其进行了位置跟踪任务测试。仿真结果证明了该方法的有效性。

本文的主要贡献如下：
•提出了一种单样本偏置补偿学习公式，避免了显式的条件期望值计算，实现了基于轨迹的策略学习。
•采用知识引导的参数化方法，充分利用了系统的固有结构，从而提高了数据效率并加快了收敛速度。
•在离线策略框架下将行为策略和目标策略分开，使得数据收集更加灵活，且能够有效重用过去的轨迹。

系统设置
为了开发一种偏置补偿Q学习方法（以下简称Q-bc），我们考虑了一个具有控制输入的离散时间LTI系统，该系统会受到DoS攻击，其数学表达式为{xk+1=Axk+αkBuk,yk=Cxk}，其中xk∈Rn、uk∈Rq和yk∈Rp分别表示离散时间k时的状态、控制输入和输出；xk+1表示下一个状态；A、B和C则是相应维度的实数时不变矩阵。

假设1
矩阵A和B是未知的，但(A,B)是对称正定的，且输出矩阵C也是可观的。

无模型Q-bc：条件与步骤
所提出的Q-bc方法旨在直接从状态和控制输入数据中获取最优策略π?，同时能够在随机DoS攻击下保持控制效果。为保证最优策略的存在性和唯一性，需满足以下条件：
条件1：矩阵Qa?0且R?0 [40]。
条件2：对(Aa,QCa)而言，系统是可观测的[41]。
条件3：折现因子γ∈(0,1]，且矩阵γF是舒尔稳定的[26]。

图1展示了Q-bc的整体框架。受控系统在此框架下运行。

仿真设置
所提出的偏置补偿Q学习方法被用于设计一种在DoS攻击下的DJI Mini 2四旋翼飞行器的平面轨迹跟踪控制器。在仿真中，Q-bc仅依赖于状态和控制输入数据，而基于模型的基准方法则通过(23)、(34)式利用完整的系统模型来计算最优控制律。

(1)环境和被控对象参数。四旋翼飞行器及参考轨迹指令器均采用(A.3)式中给出的数值状态空间模型进行建模。

结论
本文提出了一种用于在控制通道DoS攻击环境下对离散时间LTI系统进行随机最优跟踪的偏置补偿Q学习方法。该方法基于Q学习框架以及状态空间系统的结构特征，通过偏置补偿机制避免了显式的期望值计算，同时实现了与基于模型的里卡蒂解的等价性。该方法具有较高的数据效率、较强的鲁棒性。

CRediT作者贡献说明
苏振寰：撰写——初稿、可视化、验证、软件、方法论、研究、数据整理、概念设计。刘光宇：撰写——审阅与编辑、验证、监督、项目管理、研究、资金获取、概念设计。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金委员会资助的项目（项目编号：62273124）以及浙江省科技计划项目的支持（项目编号：2025C01183）。