《Electronics》：An Anti-Swept-Frequency-Jamming Communication Method Based on Proximal Policy Optimization for Nonlinear Scenarios
编辑推荐：
随着电子攻击技术的发展，智能干扰对无线通信的可靠传输构成了重大挑战。传统的抗干扰方法往往无法适应动态非线性干扰环境。本研究通过将抗干扰通信建模为序列决策问题，针对非线性扫频干扰，提出了一种基于近端策略优化（PPO）的智能抗干扰方法，以优化动态信道选择。首先，将
随着电子攻击技术的发展，智能干扰对无线通信的可靠传输构成了重大挑战。传统的抗干扰方法往往无法适应动态非线性干扰环境。本研究通过将抗干扰通信建模为序列决策问题，针对非线性扫频干扰，提出了一种基于近端策略优化（PPO）的智能抗干扰方法，以优化动态信道选择。首先，将信道选择问题形式化为马尔可夫决策过程（MDP），设计了融合干扰模式与通信状态的状态空间，将信道集合定义为动作空间，并采用多目标奖励函数在干扰回避与切换开销之间进行权衡。构建了包含策略网络和价值网络的双网络架构，采用PPO算法进行策略更新，并利用裁剪机制提升训练稳定性。系统通过“感知-决策-学习-通信”的闭环过程在线优化抗干扰策略。仿真结果表明，与传统方法相比，所提方法显著提升了分组成功率和吞吐量等关键性能指标，能够快速跟踪干扰变化，表现出优异的实时性和环境鲁棒性，从而为动态干扰环境下的可靠通信提供了有效解决方案。
这篇发表在《Electronics》上的论文聚焦于动态非线性扫频干扰环境下的智能抗干扰通信问题。随着电子攻击技术的智能化发展，传统扩频（SS）抗干扰方法因固定波形和策略，难以应对扫频速率和方向时变的非线性扫频干扰。研究人员将抗干扰信道选择建模为马尔可夫决策过程（MDP），并基于近端策略优化（PPO）提出一种在线学习方案，旨在提升动态干扰环境下的可靠传输性能。
### 研究背景与问题
无线通信依赖电磁波传输信息，易受恶意干扰。扫频干扰通过周期性改变载波频率，能有效破坏固定频率和常规跳频系统。尤其非线性扫频干扰的扫频速率和方向复杂多变，传统规则方法难以应对。现有深度强化学习（DRL）研究多针对线性或固定速率扫频，缺乏对高度动态、强对抗场景的适应能力。本研究针对这一空白，提出PPO框架下的抗扫频干扰通信方法。
### 研究内容与结论
研究人员构建了包含发送端、接收端和恶意干扰机的对抗系统模型。频带划分为N个非重叠信道，系统以时隙方式运行。干扰机采用非线性扫频策略，其瞬时干扰信道由时变扫频速率决定。接收端在每个时隙感知状态，智能算法实时输出信道选择动作，发送端与接收端同步切换。通信成功与否取决于所选信道与干扰信道的归一化距离。研究人员将问题形式化为MDP：状态空间为过去L个时隙的N个信道平均接收功率序列；动作空间为信道索引；奖励函数在干扰回避（距离惩罚）与切换开销（切换惩罚）间权衡。目标是最优策略最大化累积折扣回报。
通过PPO算法在线更新策略网络和价值网络，采用广义优势估计（GAE）和裁剪机制稳定训练。仿真在PyTorch环境下进行，干扰环境为非线性扫频。
### 研究结果
**学习率影响**：当价值网络学习率为0.01（过大）或0.0001（过小）时，归一化吞吐量较低；学习率为0.001时收敛速度与最终性能（约0.88）最优。
**GAE参数λ影响**：λ=0.95时归一化吞吐量最高（0.92），能在偏差和方差间取得最佳平衡；λ=0.9导致波动较大，λ=0.99引入噪声，性能下降。
**扫频速率影响**：中等速率范围[0.5,1.0]信道/时隙时算法性能最好（归一化吞吐量约0.835），低速率[0.1,0.5]导致样本多样性不足，高速率[1.0,5.0]因历史窗口不足以预测干扰，吞吐量降至约0.784。
**信道选择行为**：收敛后PPO算法呈现预测性，选择信道偏向边缘（0、1、8、9），因非线性扫频在频带边缘驻留时间更长，从而有效避开主干扰能量并减少切换开销。
**与基线算法比较**：与DQN、Q-Learning、A2C和SAC（离散动作版）对比，PPO在2000步后收敛，归一化吞吐量0.880，优于DQN（0.856，不稳定）、Q-Learning（0.808）和未收敛的A2C、SAC。
**不同信道数扩展**：10信道时归一化吞吐量0.840（收敛慢），50信道时提升至0.860（收敛快），因相同绝对扫频速率下相对变化慢。
**裁剪机制影响**：无裁剪时吞吐量仅0.815且不稳定，有裁剪时稳定收敛至0.840，证明裁剪机制对训练稳定性的关键作用。
**奖励函数设计**：完整奖励函数（含切换惩罚）收敛更快，最终吞吐量0.910，简化版（无切换惩罚）仅0.88，表明切换惩罚有效抑制盲目切换。
**历史窗口长度L影响**：L=5时性能最佳（平衡信息充分性与学习效率），L=3时吞吐量0.815且波动大，L=7时略逊。
### 总结与结论
本研究通过MDP建模和PPO算法，实现在非线性扫频干扰环境下的近最优策略在线学习。仿真验证该方法在动态扫频速率和方向下具有快速跟踪与有效规避能力。
**研究结论（翻译）**：本研究针对动态非线性扫频干扰环境中的智能抗干扰通信，提出了一种基于PPO的新方法。扰信道选择问题被形式化为MDP，并设计了复合奖励函数。所提算法快速学习恶意干扰的未知动态模式，灵活调整传输策略以获得近最优策略。仿真结果表明，与DQN和Q-Learning等基线算法相比，基于PPO的方法收敛更快、归一化吞吐量更高、抗干扰性能更稳健。该方法在不同扫频速率和方向下展现出有效的干扰跟踪和规避能力。
