用于远程状态估计的无线能量窃取与DoS干扰的最优调度：策略结构与近似方法

《Automatica》：Optimal schedule for wireless energy theft and DoS jamming on remote state estimation: Policy structure and approximation

　　摘要：本文研究了无线能量窃取以及针对远程状态估计的拒绝服务干扰问题。通过无线能量传输为传感器供电，该传感器运行卡尔曼滤波器并将本地估计值发送给远程估计器。文中考虑了威胁行为者可能在每个时间点选择进行拒绝服务干扰或窃取无线充电能量。研究目标是找到一种在线策略，以最大化能量收益与远程估计误差的期望平均值。为解决这一序列决策问题，将其建模为马尔可夫决策过程。首先证明了存在最优的确定性马尔可夫平稳策略，同时指出该最优策略具有良好的阈值结构，可显著降低计算成本。由于无法得到最优策略的封闭形式，文中提出了两种近似方法来寻找近似最优策略。最后通过数值示例验证了理论结果。

引言：网络物理系统是一种集成了计算、网络与物理过程的互联系统，旨在实现人类与物理世界的交互（Lee, 2008）。这类系统在电网（Fang et al., 2012）、自动驾驶（Paden et al., 2016）、医疗监测（Reddy et al., 2023）等诸多领域有着广泛应用。由于其巨大的应用潜力，网络物理系统吸引了众多学者的关注（Lv et al., 2023, Xu et al., 2022）。

系统安全是网络物理系统面临的关键且具有挑战性的问题。其安全风险主要源于两个方面：能量管理与信息交互。能量管理方面的问题包括能量窃取，即黑客通过绕过计量装置来获取或消耗能量（Li et al., 2019）。由于能量窃取可能损坏设备并带来安全隐患，许多学者开发出了多种检测方法（Althobaiti et al., 2024）。上述问题属于传统的有线能量窃取类型。近年来，无线能量传输技术在理论研究与应用层面都取得了显著进展（Wu et al., 2024）。在无线能量传输中，发射端将电能转换为另一种能量形式，再通过一定距离传输，由接收端重新转换回电能。与有线能量传输相比，无线能量传输更加便捷灵活，且能大幅降低触电风险。H. Yang等人（2022）研究了基于无线能量传输的远程状态估计调度方法，此时远程估计器可通过无线通道同时向传感器发送反馈信息与充电能量。然而，尽管信息内容可以加密，但在能量采集过程中传输的能量却完全暴露在外，容易遭到窃取。

另一类安全威胁为网络攻击（Pasqualetti et al., 2013），其中包括拒绝服务攻击与欺骗攻击。拒绝服务干扰会通过降低信噪比来降低远程状态估计的精度（Zhang et al., 2018）。根据攻击者对实时信息的掌握程度，这类攻击可分为离线攻击与在线攻击。与离线策略相比，在线策略能够利用反馈信息提升攻击效果。目前关于拒绝服务攻击的研究主要从攻击者视角以及双玩家博弈框架两个角度展开。从攻击者视角来看，其目标是在能量或通信约束条件下最大化期望的平均估计误差。Qin等人（2018）与Zhang等人（2015）研究了有限时间范围内的带能量约束的离线最优拒绝服务策略；Peng等人（2018）与Ren等人（2018）则分别探讨了多系统中无限时间范围内的最优攻击分配与攻击能量分配问题。从博弈论角度来看，一个关键问题是是否存在纳什均衡。对于传感器-攻击者博弈，Li等人（2017）与Li等人（2015）分别研究了有限时间范围内的离线最优策略与无限时间范围内的在线最优策略。与拒绝服务攻击相比，欺骗攻击通过伪装虚假数据来误导接收端，手段更为隐蔽（Li et al., 2023, Zhou et al., 2023）。

据我们所知，目前尚无研究探讨无线能量窃取与拒绝服务干扰对远程状态估计的影响。与那些仅关注通信通道攻击的现有研究不同，本文研究了无线充电通道与通信通道上的攻击调度问题。在这种场景下，威胁行为者的目标是为能量收益与攻击效果之间找到平衡点。此前也有研究探讨过类似传感器传输调度的优化问题（Wu et al., 2020, Yang et al., 2024），其目标函数为远程估计质量与能量消耗的凸组合。这些研究将无限时间范围的优化问题建模为马尔可夫决策过程，这是一种用于描述序列决策问题的数学框架。在马尔可夫决策过程中，一个关键问题是是否存在最优的确定性马尔可夫平稳策略，这一问题可以通过贝尔曼最优方程来解决（Puterman, 2014）。最优策略的结构也是研究重点，因为良好的策略结构有助于在更少的策略选项中找到最优解。不过，上述理论成果尚未应用于我们的攻击调度模型中。

对于具有无限时间范围和无限不可数状态空间的马尔可夫决策过程，很难得到其最优策略的封闭形式，因此需要采用策略近似方法。传统的动态规划方法，如价值迭代与策略迭代，可用于寻找近似最优策略（Puterman, 2014）。但这些基于模型的方法要求完全了解马尔可夫决策过程的所有参数，而在某些实际场景中这并不具备可行性。为解决这一问题，强化学习被提出作为一种无需事先了解马尔可夫决策过程参数即可学习最优策略的方法（Sutton & Barto, 2018）。基于价值函数的强化学习通过随机近似方式来求解贝尔曼方程或贝尔曼最优方程。针对有限状态空间和动作空间的经典强化学习算法是Q学习，其通过Q表来存储并迭代更新近似的Q值（Zap et al., 2020）。这种表格形式的Q学习后来又被发展为能够处理大规模状态空间和动作空间的函数形式。此外，深度强化学习将强化学习与深度学习相结合，提升了函数近似的能力。L. Yang等人（2022）与Yang等人（2023）通过将最优平均奖励转化为最优折扣奖励，运用深度强化学习框架解决了远程状态估计中的最优传感器调度与拒绝服务攻击能量分配问题。

受上述研究启发，本文研究了无线能量窃取与拒绝服务干扰在远程状态估计中的应用调度问题。本文的主要贡献如下：
（1）新的攻击调度模型。与现有研究仅在通信通道约束下研究攻击调度不同，本文考虑了无线充电通道与通信通道上的攻击调度问题，威胁行为者的目标是为能量收益与远程估计误差的期望平均值找到最优平衡点。
（2）最优策略的存在性与结构。首先将无限时间范围的优化问题建模为马尔可夫决策过程，进而证明了存在最优的确定性马尔可夫平稳策略，同时发现该最优策略具有特殊的阈值结构。现有研究仅能给出最优决策的粗略变化趋势，而本文得到了更详细的结构结果。
（3）策略近似。由于难以得到最优策略的封闭形式，本文提出了两种近似方法来寻找近似最优解。基于截断状态的值迭代方法需要完全了解马尔可夫决策过程，而无模型深度强化学习算法则适用于参数未知的马尔可夫决策过程。通过数值示例验证了所提近似算法的有效性。

本文的其余部分结构如下：第2节介绍调度模型及相关问题；第3节讨论最优策略的存在性、结构特征及近似方法；第4节通过数值示例验证理论结果；第5节总结全文；最后是附录6。符号说明：R表示实数集，Rm×n表示m×n阶实矩阵集合；N与N+分别表示整数集与正整数集；Sn+表示n维正定矩阵集合；I为相应维数的单位矩阵。对于实矩阵P，PT表示其转置，P?1表示其逆矩阵，Tr(P)表示其迹。P?0(?0)表示P为正定（半正定）矩阵。对于集合A，1A(?)表示其指示函数；对于事件X，Pr(X)表示其概率；E{?}与E{?|?}分别表示期望值与条件期望值；mod(a,b)表示a除以b的余数。

系统描述：考虑以下离散线性时不变系统：xk+1=Axk+wk，yk=Cxk+vk，其中xk∈Rn，yk∈Rm分别为系统状态与传感器的测量值。初始状态x0、过程噪声wk∈Rn以及测量噪声vk∈Rm均为相互独立的零均值高斯变量，其统计特性如下：E{x0x0T}=Σ，E{wkwjT}=δk,jQ，E{vkvjT}=δk,jR，其中Σ∈Rn×n?0，Q∈Rn×n?0，R∈Rm×m?0。该系统（1）是不稳定的，即ρ(A)>1。

主要结果：本章共分为四个小节。3.1节将无限时间范围的优化问题（4）建模为标准马尔可夫决策过程；3.2节证明存在最优的确定性马尔可夫平稳策略；3.3节对最优策略的结构进行验证；3.4节给出了两种近似方法以寻找近似最优策略。

仿真分析：本节通过数值示例验证理论结果的正确性。相关参数如下：A=1?0.1501.18，C=0.50.5，Q=0.3I，R=0.5I，Emaxeh=12，λ=5，η0=3，κ=3。此外，{?j}与{??j}可通过公式（3）计算得出，由此得到j0=6。该仿真包含两个部分：第一部分是对最优策略结构的验证，第二部分则是比较近似最优策略与其他策略的性能。

结论：本文研究了能量窃取与拒绝服务干扰对远程状态估计的影响。将无限时间范围内的最优调度问题建模为马尔可夫决策过程，同时证明了存在最优的确定性马尔可夫平稳策略及其阈值结构，还给出了两种近似方法用于寻找近似最优策略。最后通过仿真示例验证了所得结果的正确性。未来，我们……

吕伟军分别于2020年和2025年在中国广州的广东工业大学自动化学院获得控制科学与工程专业的学士与博士学位。2024年至2025年，他曾作为访问博士生在香港科技大学学习。目前他是香港科技大学电气与计算机工程系的博士后研究员。他的研究兴趣包括状态……吕伟军|杨立新|徐勇|卢仁权|刘宇|石凌