通过强化学习在无人机无线传感器网络中对恶意软件传播进行反应扩散建模与自适应控制

《Neurocomputing》：Reaction-diffusion modeling and adaptive control of malware propagation in UAV-WSN via reinforcement learning

　　

• 首次建立了基于偏微分方程(PDE)的反应扩散SEIQR-SEIQRL模型，用于描述无人机-无线传感器网络(UAV-WSN)中的恶意软件传播，该模型整合了时空耦合特征和无线传感器网络的低能耗节点状态，突破了传统模型仅考虑时间维度的局限性，准确刻画了恶意软件的空间扩散和时间演化过程。• 针对恶意软件抑制，提出了补丁修复、治疗修复和充电恢复三种最优控制策略，并通过推导一阶必要性最优性条件，从理论上验证了最优控制对的存在性；数值模拟证实，三种策略联合应用能够实现最佳的恶意软件抑制效果，且总成本最低。• 开发了基于KL散度正则化近端策略优化(KL-PPO)算法的无模型自适应控制框架，该框架结合了KL散度正则化和余弦退火学习率以稳定策略更新，避免过度偏差。数值模拟表明，所提出的算法在测试的偏微分方程场景下，对时空参数变化和超参数调整的鲁棒性得到了提升。引言 近年来，无线传感器网络(WSNs)成为研究领域的热点问题。凭借其低成本、低功耗和广覆盖的特性，无线传感器网络在环境监测、工业控制、智能交通和灾害救援等关键领域得到了广泛应用，成为物联网架构的核心支撑之一。无人机可作为移动感知平台、中继节点或应急部署单元，与无线传感器网络形成协作架构(UAV-WSN)。通过灵活机动性，该架构扩展了网络覆盖边界，增强了数据传输的实时性和可靠性，降低了地面节点的部署和维护成本。Mirai僵尸网络能够控制数千台物联网设备，并将其作为攻击平台发动大规模分布式拒绝服务(DDoS)攻击。2016年9月，Mirai僵尸网络针对的设备数量高达惊人的60万台。恶意软件包括木马、病毒和蠕虫。恶意软件侵入UAV-WSN系统不仅威胁系统完整性，还会引发数据泄露和基础设施宕机等问题。为了合理描述UAV-WSN系统中恶意软件的传播机制，从而更有效地控制潜在的安全威胁，构建准确的传播模型至关重要。Jiang等人提出了SGCL半监督图对比学习方法，该方法有效利用了标签和结构信息进行节点分类；Guo等人提出了面向异质网络影响力最大化的MPRPF算法，可用于分析恶意软件传播中的关键节点；Zhang等人设计了面向电子商务平台虚假评论团伙检测的LP-RSG方法，为识别恶意软件传播集群提供了技术启示；Wu等人提出了面向社交网络群体决策的视觉交互共识模型，可支持UAV-无线传感器网络中协同防御策略的制定。然而，无人机节点在三维空间中的轨迹高度动态。恶意软件传播随时间的空间分布是一个不可或缺的特征。因此，考虑UAV-WSN系统的空间维度至关重要。忽略空间因素的模型偏离了真实场景，无法反映节点位置与感染率之间的动态关系。因此，本文创新性地整合了时空因素，首次构建r了UAV-WSN领域的恶意软件传播模型。反应扩散模型能够准确反映恶意软件在不同空间位置的变化，也可展示无人机和无线传感器网络节点在不同状态下的时空分布模式。值得注意的是，恶意软件传播过程涉及空间和扩散因素。包含扩散项的偏微分方程可用于表示此反应扩散模型。与常微分方程不同，偏微分方程能够在时间和空间中包含未知函数的偏导数。由于系统参数的不确定性，不合理的参数估计会影响求解结果。基于这一考虑，将反应扩散模型应用于解决恶意软件传播问题难度极高。文献中构建了一个针对UAV-WSN的随机模型，研究了恶意软件的交叉传播特征和随机干扰。遗憾的是，尚未有文献将反应扩散模型应用于UAV-WSN领域。然而，在UAV-WSN领域，恶意软件传播表现出动态的空间特征。本文的反应扩散模型突破了先前模型在时空域上的局限性，为UAV-WSN领域的恶意软件传播提供了新的见解。在系统中，一旦存在感染节点，若不及时处置，恶意软件将从该点逐渐向邻近节点扩散。为防止恶意软件传播，采取有效控制策略以阻止其大规模爆发至关重要。本文深入研究了该模型的最优控制策略。然而，偏微分方程的最优性条件比常微分方程和分数阶微分方程更难推导。对于非线性系统的最优控制问题，求解Hamilton-Jacobi-Bellman(HJB)方程相当困难。有限差分等传统数值离散方法仅适用于低维情形，难以处理高维偏微分方程。这表明研究涉及偏微分方程传播模型的最优控制问题不仅在理论上复杂，而且在数值模拟方面也面临重大挑战。抑制恶意软件传播的挑战需要先进的控制策略，强化学习已成为优化复杂动态系统的有力工具。与依赖预定义规则的传统控制方法不同，强化学习能够从实时系统反馈中学习，实现自适应决策，非常适合UAV-WSN恶意软件传播的非线性、时空变化动态特性。Zhou等人提出了一种优化的Q-Learning算法，改进了Q表初始化，集成了混合动作选择策略，设计了连续奖励函数，并结合RMSprop实现动态学习率调整，从而使智能体更快适应复杂未知环境，加速算法收敛，提升路径规划性能。Kang等人提出了一种由双动态图注意力网络驱动DDGARL的强化学习方法，该方法通过双图建模全局和局部关系，使用PPO-Clip算法训练，能够有效捕捉调度系统的动态演化特征。Du等人将强化学习与灾变理论结合，以增强在线社区中的用户参与韧性，突出了该方法在管理网络化系统传播动态方面的潜力。Li和Zhu等人进一步应用基于强化学习的振幅方程来预测复杂网络中的谣言传播模式，验证了强化学习在建模和控制扩散过程中的效用。据我们所知，强化学习在时空领域的相关应用仍然稀少，强化学习尚未与反应扩散模型系统整合以解决UAV-WSN系统中的恶意软件传播问题，导致此类系统自适应控制研究存在关键空白。为填补这一空白，本研究创新性地构建了用于UAV-WSN恶意软件传播的反应扩散SEIQR-SEIQRL模型，同时捕捉时间演化和空间扩散。基于偏微分方程，设计了三种最优控制策略以抑制恶意软件并最小化控制成本。此外，开发了一个无模型框架，将强化学习与反应扩散模型相结合，利用强化学习通过试错学习最优策略、强适应性和无需完整系统知识的优势。具体而言，如图1所示，本文的贡献总结如下：1. 首次提出了用于UAV-WSN领域的反应扩散SEIQR-SEIQRL模型。与文献[32]不同，它采用具有空间连续感染率的偏微分方程，具体描述了恶意软件传播的时空动力学。2. 验证了最优控制对的存在性。与文献[44]、[49]不同，它提出了补丁修复、治疗修复和充电恢复策略以抑制恶意软件传播并最小化成本，并通过检验区域控制强度突出了效果。3. 我们提出了KL散度正则化近端策略优化(KL-PPO)算法，以解决UAV-WSN系统中恶意软件传播的自适应控制挑战。与文献[13]、[15]不同，它针对偏微分方程驱动系统的高维时空特征进行了定制，利用KL散度约束稳定策略更新，避免新旧策略之间的过度偏差，从而增强策略更新的稳定性并提高适应性。4. 数值模拟验证了基于偏微分方程的反应扩散SEIQR-SEIQRL模型的有效性，为解决恶意软件传播提供了实践依据。与仅关注时间演化的文献[19]、[49]不同，该模型强调不同状态节点的时空演化。它探索了扩散系数和交叉感染率的影响，分析了控制策略的抑制效果和成本优势，并将KL-PPO与其他算法进行比较以支持场景特定的算法选择。表2列出了本文全文经常使用的缩写列表，以便参考。其余安排如下：第2节研究相关工作。第3节，改进了先前研究文献[32]中提到的交叉感染率模型，并引入了包含无人机层和无线传感器网络层的反应扩散SEIQR-SEIQRL模型。第4节通过理论推导求解最优控制问题，获得了一阶最优性条件。第5节介绍了算法的主要实现过程和相关的数学公式。第6节提供了数值实验结果和相应的分析。第7节讨论了本文的内容。第8节总结了本文的结论。相关工作部分 无人机-无线传感器网络中恶意软件的传播对网络运行安全和数据传输完整性构成严重威胁，给无人机协同作业等关键应用场景带来潜在风险。近年来，学术界围绕流行病建模、时空动力学表征、最优控制设计和强化学习驱动的自适应策略进行了广泛探索，旨在揭示恶意软件的传播规律并建立……模型描述部分 传统的恶意软件传播模型通常忽略UAV-WSN的空间维度或节点能量约束，偏离了真实场景。无人机的动态三维移动性和无线传感器网络节点的能耗带来了时间单一模型或忽略空间模型的模型无法捕捉的关键时空耦合。为了准确刻画恶意软件传播规律，本节构建了一个基于偏微分方程的反应扩散SEIQR-SEIQRL模型，整合了空间扩散、时间演化、……最优控制策略部分 在基于反应扩散模型控制无人机-无人机两层网络中恶意软件传播的基础上，该系统的时空耦合特征给控制策略制定带来了独特挑战。当代主流的恶意软件缓解策略通常优先考虑单一操作维度，因此无法适应所建立模型的固有耦合时空动态。为解决这一研究空白，本……无模型算法部分 传统的恶意软件传播最优控制方法严重依赖已知的系统模型和复杂的理论推导，难以应用于实际的UAV-WSN场景。UAV-WSN系统具有独特的时空特征：无人机在三维空间中动态移动。这些因素使得构建准确的静态模型几乎不可能。此外，此类系统中的恶意软件传播既涉及时间演化又涉及空间扩散，而传统时间单一模型……仿真实验部分 算法2 交叉扩散最优控制算法 本节展示了一系列仿真实验，涵盖三个主要方面。首先，我们研究了不同扩散系数对反应扩散SEIQR-SEIQRL模型的影响。其次，我们考察了四种交叉感染率配置下的恶意软件传播模式。第三，我们评估了最优控制技术用于恶意软件抑制的性能。前两部分实验验证了纳入扩散系数和……的必要性。讨论部分 我们的研究聚焦于UAV-WSN系统中的恶意软件传播机制及相应的最优控制策略，通过深入的理论分析和广泛的数值模拟得出了一些关键见解。我们创新性地构建了一个基于偏微分方程的反应扩散SEIQR-SEIQRL模型，整合了时空耦合特征和无线传感器网络低能耗节点状态，突破了仅考虑时间的传统模型局限性……结论部分 本研究深入探索了UAV-WSN中的恶意软件传播机制，并提出了最优控制解决方案。

考虑到恶意软件传播具有不可分割的时空特征，本文构建了一个基于偏微分方程的反应扩散SEIQR-SEIQRL模型，并设计了三种最优控制策略，推导了最优控制对的存在性及一阶必要条件等理论结果。为克服模型依赖的局限性，提出了一种无模型自适应控制框架CRediT作者贡献声明桂云 刘：撰写—审阅与编辑，撰写—初稿，可视化，验证，监督，软件，资源，项目管理，方法学，调查研究，经费获取，形式化分析，数据整理，概念构思。科阳 王：撰写—审阅与编辑，撰写—初稿，软件，资源，数据整理，概念构思。万霞 蔡：撰写—初稿，可视化，验证，监督，方法学，调查研究，经费获取。利益冲突声明作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：桂云 刘报告称获得了广州大学的经费支持。科阳 王报告称广州大学为其提供了统计分析和撰写协助。凯 王报告称广州大学为其提供了行政支持、论文出版费用及撰写协助。万霞 蔡报告称获得了统计分析撰写致谢广东省基础与应用基础研究基金（2026A1515010737），中国博士后科学基金（2026M793353）及中国博士后科学基金会博士后面上资助计划（GZC20261665）。作者感谢广州大学网络中心提供的高性能计算资源。桂云 刘|科阳 王|万霞 蔡|华海 陈|凯 王|乐丰 程