基于改进的层次强化学习方法的路径-功率联合分配，用于分布式协作干扰

《Engineering Applications of Artificial Intelligence》：Path-power joint allocation based on improved hierarchical reinforcement learning method for distributed cooperative jamming

　　摘要
为了解决由于空间域和能量域之间的耦合导致在电力域独立决策时渗透安全性低的问题，本文提出了一种基于改进的分层强化学习（IHRL-PPJA）方法的路径-功率联合分配方案。我们在分布式协作干扰抑制环境中构建了一个雷达目标检测模型，并推导出了分布式协作干扰资源分配的数学模型。将渗透对抗过程建模为马尔可夫决策过程。此外，我们提出了一种基于分层强化学习的改进分层proximal策略优化算法，该算法具有动作关键编码和优势经验重放功能。所提出的方法将高维状态-动作空间分解为两个低维空间，以解决状态-动作空间过大的问题。同时，它提高了渗透过程的安全性，并加快了算法的收敛速度。仿真结果表明，所提出的IHRL-PPJA方法在干扰资源分配和算法效率方面均优于传统的基于分层强化学习的路径-功率联合分配（HRL-PPJA）方法。IHRL-PPJA的渗透安全率比HRL-PPJA高出2.04个百分点，有效保证了整个渗透任务的飞行安全。

引言
电子干扰技术利用电磁波欺骗或抑制敌方电子系统，在渗透对抗场景中发挥着关键作用（Gong等人，2015年；Chudi Zhang等人，2023年；Yang等人，2023年）。最近，随着雷达网络技术的发展，机载单一平台电子对抗装备的有效性受到了极大限制（John-Baptiste等人，2021年；Zhang等人，2018年；Howard等人，2022年；Lu和Gursoy，2023年；Wang等人，2021年）。特别是如今，许多雷达系统采用了认知抗干扰措施，可以有效对抗使用固定操作模式的干扰设备（Xu等人，2023年；Li等人，2021年）。部署多个护航干扰器进行协调干扰可以显著增强对雷达网络的干扰能力。由于干扰资源和决策时机的限制，干扰器在与雷达系统的对抗中往往处于劣势。认知电子战中的干扰器面临的一个关键挑战是能够快速高效地根据战场环境和情况分配有限的干扰资源（Wenxu Zhang等人，2023年；Peng Zhang等人，2024年；Fan等人，2024年；Yi Wang等人，2025年）。物理数据融合和半解析方法已被用于性能预测和耦合建模（Wang等人，2026a；Wang等人，2026b；Shuo Wang等人，2025年）。已经开发了状态空间和概率模型用于变化传播和空间相关性分析（Li等人，2026年；Zhao等人，2022年）。多资源调度方法已被应用于处理耦合资源约束（Zhou等人，2026年；Zhou等人，2025年）。VAE、图注意力、时间卷积和Transformer模型提高了高维特征提取能力（Shen等人，2026年；Yuheng Wang等人，2025年）。对抗性迁移学习增强了模型在不同操作条件下的适应性（Deng等人，2021年；Deng等人，2023年）。这些研究为多维资源分配和决策制定提供了参考。

目前，关于渗透过程中干扰资源分配的研究主要集中在两个方向。第一个方向涉及干扰策略的决策和渗透过程中干扰效果的评估。在这一领域已经取得了一些进展。例如，Zhang等人（2023年）和Yujie Zhang等人（2023年）分别采用了双深度Q网络（DDQN）和启发式编程强化学习（HPRL）来开发多功能雷达（MFR）的认知干扰决策系统。Zhang等人（2023年）还使用了启发式加速Q学习算法动态调整干扰模式和功率，实现了闭环对抗性认知学习。Liu等人（2021年）提出了一种基于双层Q学习的干扰策略，能够处理具有模式切换和参数灵活性的适应性雷达。Wenxu Zhang等人（2023年）通过集成基于侦察干扰器的在线干扰效果评估方法、改进的属性相关系数方法和支持向量机来提高评估精度。Han等人（2020年）引入了一种基于马尔可夫链的地面威胁概率模型，其中包含了干扰资源分配（JRA），从而创建了一种新的威胁评估和干扰分配系统。鉴于干扰策略决策中的离散优化问题相对复杂度较低，这一领域已经取得了相当大的进展。

第二个研究方向关注基于干扰方程的关键参数在干扰过程中的资源分配，包括时间域（Qian等人，2024年）、空间域（Xu等人，2017年；Guo等人，2025a；Guo等人，2025b）、频率域（Rao等人，2024年；Wenxu Zhang等人，2024年；Zhang等人，2025a）和能量域。深度强化学习在频率跳变系统中的动态抗干扰方面表现出强大的适应性。Li等人（2022年）提出了一种基于双行动网络的抗干扰算法，为多维协作干扰资源决策提供了参考。Chen等人（2026年）开发了一个双层策略导向的抗干扰框架，验证了分层结构在对抗场景中的优越性。我们的初步研究（Zhang等人，2025b）提出了一种多平台协作干扰资源分配算法，用于解决雷达和干扰器之间的资源分配问题，尽管它仅考虑了能量域参数。Zou等人（2023年）结合了组合搜索策略和改进的粒子群优化（IPSO）算法来解决多个干扰器对雷达网络的资源分配问题。Xin等人（2024年）提出了一种基于进化强化学习的干扰资源分配方法，能够跨多个域规划干扰参数；然而，它依赖于离散强化学习策略，限制了参数选择。Sun等人（2024年）提出了一种基于DDQN的多智能体联合干扰分配方法，包括干扰时序、功率和持续时间。然而，该方法也存在参数离散化的缺点。Li等人（2023年）提出了一种基于深度强化学习的路径和功率联合规划方法，主要关注路径规划，对功率分配方法的描述不够详细。上述文献可以在表1中总结。

从表1可以看出，大多数研究集中在单一参数上，忽略了或假设了其他参数的影响。或者，它们将多参数空间离散化以降低连续多维动作空间中的决策复杂性。特别是在干扰功率分配的背景下，许多研究预先定义了渗透路径，从而限制了距离参数对干扰效果的影响。这种方法难以满足实际战场场景的需求。为了解决现有研究的局限性，我们提出了一种基于改进的分层强化学习（IHRL-PPJA）方法的路径-功率联合分配方案。本文的贡献总结如下：
- 为了解决渗透编队过程中渗透安全性低的问题，我们为渗透编队和雷达网络中的分布式协作干扰建立了路径-功率联合分配（PPJA）模型。该联合分配任务被表述为马尔可夫决策过程（MDP），并使用分层强化学习（HRL）证明了所提出的PPJA模型的可解释性问题，从而缓解了由于扩展状态-动作空间导致的探索不足。
- 为了解决功率决策动作空间维度过高的问题并提高算法的收敛速度，我们提出了一种改进的分层强化学习（IHRL）方法，该方法集成了动作关键编码（AKE）和优势经验重放（AER）技术。AKE有效地降低了动作空间的维度，而AER提高了策略网络中测试有利动作的可能性。与传统的干扰策略相比，所提出的方法可以实现更好的收敛速度和更高的渗透安全性。

本文的其余部分组织如下。第2节构建了一个竞争场景，其中护航干扰器在渗透过程中保护目标飞机，并详细分析了在抑制干扰条件下的雷达目标检测模型。第3节将渗透对抗模型表述为马尔可夫过程。通过优化HRL方法，提出了基于改进的分层强化学习方法的路径-功率联合分配方案。第4节展示了与所提算法在干扰资源分配和算法效率方面的性能相关的仿真和实验结果。最后，第5节对本文进行了总结。

信号模型和问题表述
在本节中，我们开发了一个由护航干扰器组成的群体，伴随渗透飞机执行协调抑制干扰，以降低雷达的检测能力，从而创建了一个渗透对抗场景。我们推导了一个描述干扰信号与雷达检测信号之间交互的数学模型。考虑一个包含一架渗透飞机和四架护航飞机的场景。

提出的基于改进分层强化学习方法的路径-功率联合分配
如图2所示，路径-功率联合决策任务被分解为两个子任务：上层负责渗透路径规划，而下层负责干扰功率分配。为这两个子任务分别部署了独立的决策器。上层决策器的动作输出作为其状态之一输入到下层决策器中，这降低了任务复杂性并避免了目标之间的权重冲突。

分布式协作干扰场景构建
本节旨在通过一系列数据仿真实验来验证所提出的PPJA算法在解决渗透问题方面的有效性和优越性。如图3所示，建立了一个边长为120公里的对抗环境。在这种设置中，四个雷达被战略性地部署在检测范围重叠的区域，以增强雷达网络的整体检测能力。在对抗过程中，渗透编队从...

结论
本文提出了一种用于渗透编队的路径-功率联合分配方法。所提出的算法采用改进的分层强化学习，有效解决了多维动作决策问题。与使用强化学习或固定策略的现有干扰资源分配算法相比，所提出的算法在渗透安全率和收敛速度方面显示出不同程度的改进。

作者贡献声明
Wenxu Zhang：写作 - 审阅与编辑、撰写原始稿件、验证、监督、调查、资金获取、数据管理、概念化。
Kang Luo：写作 - 审阅与编辑、撰写原始稿件、软件、资源、方法论、形式分析、数据管理、概念化。
Minghao Zhang：写作 - 审阅与编辑、撰写原始稿件、软件、资源、概念化。
Zhongkai Zhao：验证、监督、资金获取。
Xian Lei：写作

利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢
本工作得到了中国国家自然科学基金（项目编号62471154）、黑龙江省优秀青年教师基础研究支持计划重点项目（项目编号YQJH2023279）、黑龙江省自然科学基金（项目编号LH2024F033）和山东省自然科学基金项目（项目编号ZR2024MF114）的支持。

Wenxu Zhang | Kang Luo | Minghao Zhang | Zhongkai Zhao | Xian Lei | Jiaze Gao
哈尔滨工程学院信息与通信工程学院，哈尔滨，150001，中国