《Sensors》：From Simulation to Semi-Physical Validation: An Intelligent Jammer-Assisted Radar Anti-Jamming Evolution Method
编辑推荐：
自适应波形决策仍然是雷达抗干扰中的一个关键挑战，特别是当雷达系统需要通过与智能干扰机的动态对抗来演化其策略时。本文提出了一种基于AlphaZero框架的智能干扰机辅助的雷达抗干扰演化方法。研究人员将雷达和干扰机建模为两个竞争的智能体，并将它们的波形级交互建模为
自适应波形决策仍然是雷达抗干扰中的一个关键挑战，特别是当雷达系统需要通过与智能干扰机的动态对抗来演化其策略时。本文提出了一种基于AlphaZero框架的智能干扰机辅助的雷达抗干扰演化方法。研究人员将雷达和干扰机建模为两个竞争的智能体，并将它们的波形级交互建模为一个序列决策博弈。通过结合自对弈学习与蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS），所提出的框架引导了高价值交互样本的生成，并提高了雷达智能体的训练效率。因此，雷达智能体能够在对抗交互中逐步优化其抗干扰策略并增强其决策能力。为了进一步评估其实用可行性，研究人员开发了一个半实物硬件在环（hardware-in-the-loop，HIL）验证平台。实验结果表明，所提出的方法加速了雷达智能体的收敛，提高了有价值交互样本的利用效率，并弥合了算法仿真与实际雷达-干扰机系统实现之间的差距。
现代雷达系统需要在复杂且充满对抗的电磁环境中运行，其中智能干扰机能够动态感知、学习并响应雷达的发射信号。在这种环境下，固定的或基于规则的波形调度策略难以维持稳健的感知性能。因此，自适应波形决策成为认知雷达的关键能力，尤其是在面对具有自适应行为的干扰机时。然而，现有研究面临以下问题：波形级决策涉及大动作空间（多个参数如载频、脉宽、带宽等），雷达与干扰机的交互是序列且高度耦合的，强化学习（RL）方法通常需要大量交互样本才能获得稳定策略，而低质量或冗余样本会降低学习效率并减缓早期收敛。此外，许多研究仅局限于仿真环境，忽略了实际系统中的硬件约束、信号处理延迟和闭环交互要求，导致算法仿真与实践实现之间存在差距。为解决这些问题，研究人员提出了一种基于AlphaZero框架的智能干扰机辅助雷达抗干扰演化方法。该方法将雷达和干扰机建模为两个竞争智能体，将波形级交互建模为序列博弈，通过自对弈学习与蒙特卡洛树搜索（MCTS）相结合，引导高价值交互样本的生成，提高雷达智能体的训练效率。同时，研究人员开发了一个半实物硬件在环（HIL）验证平台，以评估方法的实际可行性。实验结果表明，该方法加速了雷达智能体的收敛，提高了有价值交互样本的利用效率，并弥合了算法仿真与实际雷达-干扰机系统实现之间的差距。该论文发表在《Sensors》。
研究人员为开展研究主要采用了以下关键技术方法：基于AlphaZero的双智能体强化学习（RL）框架，将雷达和干扰机建模为两个竞争智能体，并将波形级交互建模为序列决策博弈；蒙特卡洛树搜索（MCTS），用于引导高价值动作的探索与评估，提升交互样本质量；自对弈学习机制，使雷达和干扰机通过相互对抗迭代更新策略；半实物硬件在环（HIL）验证平台，整合了智能决策算法、波形生成、信号收发及目标/干扰环境模拟模块，实现闭环雷达-干扰机对抗实验。
在实验部分，研究人员首先设置了参数，包括雷达波形类型（线性调频LFM和覆盖脉冲CP）及干扰机类型（窄带阻塞干扰NBJ和转发式欺骗干扰RDJ），以及网络和训练超参数。通过自适应策略学习实验，研究人员采用交替训练和模型冻结策略，生成了L1至L7能力等级的雷达和干扰机模型。结果表明，随着能力等级提高，雷达获胜率持续提升，表明交替训练策略能有效增强雷达对抗性能。当逐步引入不同能力等级的干扰机模型时，雷达检测概率在初期下降后通过策略更新逐渐恢复，验证了方法在动态对抗环境中的自适应能力。此外，研究人员展示了L7雷达与L7干扰机对抗的四种代表性案例，覆盖脉冲波形在匹配滤波后仍能清晰提取目标速度和距离信息，证明了雷达抗干扰决策的有效性。
在与多智能体强化学习算法的对比实验中，研究人员将所提方法与MADDPG、MAPPO和MATD3三种算法在L1、L3、L5、L7干扰机下进行测试。结果显示，所提方法在所有干扰机能力等级下均获得最高的检测概率和最快的收敛速度，这主要归功于MCTS的规划与动作选择能力。当干扰机能力增强时，所有算法性能下降，但所提方法仍保持明显优势。MADDPG学习速度最慢，MAPPO和MATD3表现更稳定但收敛较慢。计算复杂度分析表明，所提方法在每决策周期（100次MCTS模拟）下约需1.83 GFLOPs的神经网络计算，总决策延迟为29.0 ms，在RTX 4090半实物平台上可成功闭环执行，实现了搜索计算与样本效率之间的权衡。
在半实物验证平台上的实验中，研究人员将训练好的L7雷达模型和L5干扰机模型部署于平台，测试了自保护、伴随和远距离支援三种作战场景以及Swerling 0至Swerling 3四种目标起伏模型下的检测概率。结果表明，所有场景下检测概率均高于0.63，自保护场景最高，伴随和远距离支援场景依次降低，且随目标起伏增强而下降，但整体稳健。通过记录窄带阻塞干扰和转发式欺骗干扰下的距离-多普勒（RD）图及实测时域波形，研究人员验证了雷达智能体能够自适应选择有效波形策略，抑制或规避不同类型干扰，从而在半实物平台上实现闭环信号交互，证明了方法的实用性和有效性。
在讨论部分，研究人员指出当前框架的主要局限性是MCTS的可扩展性，随着波形和干扰动作空间的增大，计算成本迅速增加。此外，当前实验考虑了代表性动作类型，并未完全复现实际部署中的所有不确定性。未来工作将聚焦于提升搜索效率，并将框架扩展到更丰富的波形库和更真实的对抗环境。研究结论部分翻译如下：本文提出了一种基于AlphaZero框架的智能干扰机辅助雷达抗干扰演化方法。将雷达与干扰机之间的波形级对抗建模为双智能体序列决策博弈，雷达通过动态交互逐步改进其抗干扰策略。通过结合自对弈学习与蒙特卡洛树搜索（MCTS），该方法提高了交互样本质量、动作评估和训练效率。仿真结果表明，在不同干扰机能力等级下，该方法实现了更快的策略收敛和改进的雷达检测性能。此外，开发了一个半实物硬件在环（HIL）平台以评估实际可行性。结果表明，雷达智能体能够在不同干扰条件下自适应选择有效波形策略，支持了搜索引导的双智能体学习在智能雷达抗干扰中的潜力。
