面向无线电引信认知干扰的条件渐进式搜索锁定分层强化学习方法

《Defence Technology》：Conditioned Progressive Search-and-Lock Hierarchical Reinforcement Learning for cognitive jamming of radio fuzes

　　

无线电引信在终端交会过程中执行测距与起爆决策，对武器系统毁伤控制至关重要，因此对其进行有效干扰是电子对抗中的关键环节。然而，在实际高速交会条件下，干扰方面临引信内部决策过程不可观测、干扰窗口极短以及外部反馈稀疏且延迟等问题。本文提出条件渐进式搜索锁定分层强化学习（Conditioned Progressive Search-and-Lock Hierarchical Reinforcement Learning, CPSL-HRL）方法，用于无线电引信的认知干扰。CPSL-HRL以扫频干扰（sweep jamming, SPJM）为动作载体，以截获或估计的引信波形参数为动作参考。在外部反馈引导下，高层策略在体制间隔尺度上选择搜索、聚焦与锁定体制，低层策略在决策步尺度上生成连续控制量，并通过中心-半径-偏移动作解码映射为满足物理约束的干扰参数。研究人员建立了统一评估框架与统一认知干扰评分（Unified Cognitive Jamming Score, ），用于评估干扰效果可靠性、保护距离、干扰成本与跨条件适应性。在以非对称三角调频引信为对象的实验中，CPSL-HRL取得的评分达92.11，分别领先最优强化学习基线和频谱感知辅助扫频干扰基线26.82和16.22。消融、鲁棒性与时效性分析验证了关键机制的有效性、性能稳定性以及实时决策能力。

无线电引信利用电磁回波特性探测目标距离并做出起爆决策，其决策结果直接决定武器系统的毁伤效能。针对引信波形特征发射干扰信号以诱使其产生错误决策，是电子对抗的关键环节。随着无线电引信技术向高精度、低截获概率和强抗干扰方向发展，引信干扰研究已从功率压制转向基于信息的欺骗干扰和认知干扰。然而在实际对抗条件下，无线电引信在高速动态交会过程中工作，有效干扰窗口仅为数百毫秒。干扰方只能从发射的引信信号和外部可观测现象推断最终起爆结果，无法获取信号处理流程、决策阶段或阈值等内部信息。同时，引信包含信号域筛查、信息域决策逻辑和多级确认等抗干扰机制，干扰动作的效果只有在引信完成内部逻辑处理和序贯决策后才在外部反馈中显现。因此，稀疏的外部观测、延迟的反馈和短暂的干扰窗口共同构成了无线电引信认知干扰的核心难点。

为解决上述问题，研究人员提出了条件渐进式搜索锁定分层强化学习方法（CPSL-HRL）。该方法以扫频干扰（SPJM）为动作载体，以截获或估计的引信波形参数为动作参考，依据外部反馈组织搜索、聚焦和锁定行为，将绝对物理参数选择转化为波形参数参考邻域内的条件渐进式搜索。研究人员选取非对称三角调频引信（AsyTRI）作为代表性案例进行建模与验证，并建立了无线电引信认知干扰的统一评估框架与统一认知干扰评分（），从干扰效果可靠性、保护距离、干扰成本和跨条件适应性四个方面综合评价不同方法的干扰效能。

CPSL-HRL方法的核心创新包括四个方面。第一，提出面向无线电引信认知干扰的CPSL-HRL方法，仅基于外部观测和交互历史建立闭环决策过程，实现高速动态交会下的认知干扰。第二，设计由引信波形参数参考驱动的中心-半径-偏移动作解码机制，将绝对搜索转化为参考邻域内的相对调整，提高搜索效率和跨条件适应性。第三，设计条件渐进式搜索锁定分层策略，高层策略组织搜索、聚焦和锁定体制，低层策略生成连续干扰动作，实现行为按条件的组织与连续调整。第四，建立统一评估框架，将起爆概率单一指标或多个信号级指标无法全面表征的问题，转化为对干扰效果可靠性、保护距离、干扰成本和跨条件适应性的综合评分。

研究人员采用的主要技术方法包括：基于非对称三角调频引信的交会传播模型和部分可观测马尔可夫决策过程（POMDP）建模；基于中心-半径-偏移动作解码的连续干扰参数生成机制，以截获的引信波形参数为参考中心，通过高层体制选择的收缩系数调整动作半径，由低层策略输出归一化偏移量映射为物理参数；采用分层强化学习架构，高层策略使用近端策略优化（PPO）在体制间隔尺度选择搜索、聚焦和锁定体制，低层策略使用软演员评论家（SAC）在决策步尺度生成连续控制；以及包含干扰效果可靠性、保护距离、干扰成本和跨条件适应性的统一评估框架。所有方法均在相同的仿真环境、物理约束和评估框架下进行比较。

实验部分的主要结果如下。在总体评估与跨条件泛化分析中，CPSL-HRL在场景泛化轴和引信泛化轴上分别取得95.10和90.12的评分，综合评分为92.11，超过最优强化学习基线TD7（65.29）和最优频谱感知辅助扫频干扰基线SA-SPAM-55dB（75.89）分别达26.82和16.22。在引信泛化轴上，所有方法均达到100%的平均起爆概率，但CPSL-HRL的平均起爆时间为1.95 ms，起爆距离为193.51 m，显著优于SA-SPAM-55dB和TD7，同时累积能量成本仅为2338.65，表明该方法能以更低的干扰成本实现更及时的干扰效果和更大的保护距离。在结构消融研究中，去除分层体制组织后CPSL模型仍取得86.42的评分，而两种绝对物理参数映射变体仅得53.94和55.14，验证了中心-半径-偏移动作解码是保持性能的关键因素；重新引入分层体制组织将评分从86.42提升至92.11，确认了搜索、聚焦和锁定体制的条件依赖组织进一步提升了动态干扰效能。观测构建消融表明，完整观测空间取得最高综合评分92.11，各信息块通过互补使用发挥作用。在鲁棒性分析中，CPSL-HRL在五种随机种子训练下平均评分为90.73，标准差较CPSL、CrossQ和TD7分别降低52.77%、67.51%和79.28%，最小评分87.79仍高于TD7最大评分65.29；在八种评估权重配置下均排名第一，表明其优势不依赖于评估权重设定；在波形参数失配和接收机噪声条件下，CPSL-HRL在所有10种扰动设置下均取得最高评分。行为分析显示，在G0/D1条件下的代表性成功轨迹中，策略依次维持搜索、聚焦和锁定体制，各体制分别占总轨迹的31.25%、37.50%和31.25%，体制切换依赖当前交互状态而非预定义阶段序列。时效性分析表明，CPSL-HRL的平均在线决策延迟为78.5 μs，95百分位延迟为100.8 μs，低于最短动作更新间隔125 μs，满足实时决策要求。

研究结论表明，CPSL-HRL在有限外部信息和短干扰窗口条件下能有效组织动态干扰行为，为无线电引信认知干扰的建模、策略学习和统一评估提供了基础。本研究以AsyTRI为代表性案例，未来工作将扩展至线性调频、伪随机编码和脉冲多普勒等其他类型无线电引信的认知干扰研究。