动态频谱接入抗干扰深度强化学习：一种融合回声状态网络与空闲率变化检测的Bootstrap集成方法

《Sensors》：Deep Reinforcement Learning for Anti-Jamming Dynamic Spectrum Access: A Bootstrap Ensemble Approach with Echo State Network and Idle-Ratio Change Detection

　　

动态频谱接入（DSA）是复杂电磁环境下无线电设备高效利用频谱的有效技术。扫频与梳状等系统性外部干扰是抗干扰通信场景中的常见干扰形式。深度强化学习（DRL）被广泛用于提升DSA性能，但基于DRL的DSA方法在不同干扰场景间泛化面临挑战。本文提出一种基于Bootstrap集成深度Q网络（BEDQN）并融合回声状态网络（ESN）的DSA方案，称为ESN-BEDQN，用于在干扰模式突变场景下实现快速可靠接入。ESN提供低复杂度时序记忆以捕捉干扰模式，BEDQN维持多个多样化读出头以实现ESN-BEDQN重置后的快速探索。此外，提出基于对称KL散度的信道空闲率检测干扰模式变化预测方法以触发网络重置，即Pred-Reset。仿真结果表明，基于ESN-BEDQN的方案在周期干扰下实现近零碰撞率，并在干扰模式突变场景中比常规深度Q网络（DQN）和长短期记忆（LSTM）-DQN方案恢复显著更快。进一步，Pred-Reset能正确捕捉干扰模式变化并触发网络重置，在所有测试场景中比其它基线方案收敛更快。

研究背景方面，无线技术与物联网设备激增导致频谱需求空前上涨，传统静态分配造成“频谱稀缺悖论”，认知无线电网络（CRN）中的动态频谱接入（DSA）通过实时利用频谱空穴提升效率。现有DSA研究多聚焦频谱效率与资源分配，少量关注外部干扰尤其干扰模式突变场景。实践中非反应式干扰（如工业无意干扰、低成本周期干扰、预编程电子对抗）会以预脚本但不可预测方式切换周期、扫频或随机模式，使已学策略严重退化。标准DRL在此类环境面临两重困境：全连接网络无显式时序建模，LSTM虽能建模但在线训练开销大、收敛慢；ε-greedy退火后探索效率骤降，突变时经验回放被陈旧转移淹没且无法自主再探索。已有基于累计奖励监控或固定阈值的自适应重训练方法，或需变化点先验、或依赖性能反应、或受ε-greedy瓶颈限制。因此亟需轻量时序建模、持续探索与无先验快速适应的统一框架。

研究人员开展的研究为：针对突发干扰模式切换的非反应式干扰环境，提出ESN-BEDQN协同框架，将ESN低复杂度时序记忆、Bootstrap集成无退火深度探索、基于信道空闲率对称KL散度的Pred-Reset自适应重置耦合进统一DRL流程。ESN储层随机固定、仅训练读出层，替代LSTM降低在线计算；Bootstrap集成维护多独立读出头并以随机头选择替代ε-greedy；Pred-Reset监控各信道空闲率滑动窗口，计算当前与30步前空闲率向量的对称KL散度，以指数加权均值与标准差动态阈值触发重置，重置时清回放缓冲、储层状态归零、半数头重初始化，并设500步冷却期。仿真在5km×5km区域、K正交信道、双独立干扰机、理想感知半双工SU下，对比DQN-MLP、DQN-ESN、DQN-LSTM及有无重置变体。

主要关键技术方法包括：采用回声状态网络（ESN，储层神经元数64、谱半径0.8、仅训练读出权重）作为Q网络主干提取时序特征；引入Bootstrap集成（5个读出头、Bernoulli掩码差异化采样、随机头决策）实现退火无关探索；设计Pred-Reset基于对称KL散度（当前与30步前信道空闲率向量）的动态阈值检测（灵敏度系数γ、冷却500步）触发硬重置；可选内在奖励由信道预测误差指数平滑提供。样本为仿真生成的周期/梳状/扫频及双干扰机叠加交替混合模式序列，无真实队列。

研究结果部分，第2节系统模型与问题建模给出SU收发对、K信道、瑞利衰落与SINR成功条件，定义状态为当前二值感知向量、动作含空闲动作、奖励为外在成功/失败/空闲加可选内在预测误差，目标为折扣累积奖励最大化。第3节ESN-BEDQN设计逐层说明ESN储层更新与扩展状态拼接、Bootstrap头决策与目标网络独立更新、Pred-Reset空闲率估计与对称KL检测公式、内在奖励及算法流程。第4节仿真分三块：静态周期干扰下DQN-ESN近零碰撞、DQN-MLP退化为无记忆“总是接入”碰撞率等于干扰时隙比，证实时序记忆必要；干扰模式突变四场景（异模切换/同模参数切换）中，异模下所有无重置方案失败，ESN-BEDQN Reset恢复比DQN-ESN/LSTM Reset快2–6倍，同模下无重置靠ESN记忆可自恢复且ESN-BEDQN NoSet快于ε-greedy基线；Pred-Reset在线检测在异模切换延迟仅数步触发、同模不误触，恢复步数与已知变化点Perf-Reset相当。第5节结论指出ESN-BEDQN以低复杂度时序记忆、无退火集成探索与空闲率统计重置，在突变干扰DSA中兼顾静态收敛与突变恢复，同模切换时序记忆自足、异模切换硬重置必需。

讨论与结论翻译：本文提出ESN-BEDQN，一种面向干扰模式突变DSA的Bootstrap集成深度强化学习算法，融合ESN与空闲率变化检测。ESN作Q网络主干利用储层回声态特性捕捉干扰时序规律，仅训读出层，在线开销远低于同规模LSTM；Bootstrap集成维护多多样化读出头，随机头选择自然持续探索，重置后效率高于常规ε-greedy；Pred-Reset基于信道空闲率对称KL散度检测，检测即清回放、储层归零、快速适应。仿真依次验证三核心能力：静态周期下DQN-ESN近零碰撞而DQN-MLP退化无记忆，证时序记忆不可或缺；双干扰机时变场景中，同模切换时序记忆可平滑适应，异模切换旧经验失效必须硬重置，ESN-BEDQN Reset恢复远快于ε-greedy Reset且无重置方案均失败；在线Pred-Reset异模延迟数步触发、同模静默，与理想重置性能重叠。该框架可扩展至多SU分布式编码与共识检测，但理想感知假设与智能跟踪干扰下的有效性留待未来工作。论文发表于《Sensors》。