基于改进Dueling DQN的三域误差与大气效应下射频天线阵列联合优化方法

《Electronics》：A Joint Optimization Method for Radio Antenna Arrays Under Tri-Domain Errors and Atmospheric Effects Based on Improved Dueling DQN

　　

摘要：本文提出一种基于带双层自适应步长策略之改进Dueling Deep Q-Network（DDQN，Dueling Deep Q-Network）的稀疏同心圆环阵列（sparse concentric ring array）协同优化框架，旨在非理想条件下实现旁瓣电平（Peak Sidelobe Level，PSLL）联合抑制与结构优化。研究引入三域随机误差模型以表征位置、相位及幅度扰动，并在高频传播场景中纳入大气效应感知（atmospheric-effect-aware）评估。针对六环稀疏阵列，仅优化环半径可使PSLL达到－24.4810 dB，较初始阵列平均改善5.809 dB，且相较基准DDQN方法有进一步降低；将设计扩展至环半径与单元数联合优化后，PSLL进一步降至－30.629 dB，表明几何与稀疏度协同控制的有效性。蒙特卡洛（Monte Carlo）仿真显示优化后阵列在三域随机扰动下仍保持稳定的旁瓣性能，平均PSLL为－26.758 dB。进一步采用真实气象数据的分析表明，大气效应对归一化方向图引入中等程度变化，而在所建模型条件下整体性能仍主要受随机扰动影响。所提框架为实际高频场景下稀疏同心圆环阵列提供了一种有效且鲁棒的优化途径。

论文解读：基于改进Dueling DQN的三域误差与大气效应下射频天线阵列联合优化方法

研究背景与意义

在高频射频天线系统（特别是微波与毫米波段）中，稀疏同心圆环阵列（sparse concentric ring array，SCRA）因具有大口径、低互耦及可形成低旁瓣波束等优点被广泛应用于雷达与通信领域。然而在实际工程部署中，阵列单元的位置偏差、馈电幅度与相位的随机漂移（即三域——位置域、幅度域、相位域——随机误差）以及大气折射率起伏、湿度与温度梯度引起的大气传播效应，均会导致理论设计的低旁瓣性能退化。传统解析综合法或确定性优化算法难以在含非理想因素的高维、强非线性、多约束解空间中高效搜索最优几何与激励参数，也较少同时考虑三域误差与大气效应的联合影响。为此，研究人员开展本研究，提出一种融入双层自适应步长策略的改进Dueling Deep Q-Network（Dueling DQN / DDQN，Dueling Deep Q-Network）强化学习优化框架，对稀疏同心圆环阵列进行几何结构（环半径、各环单元数）与电磁性能（PSLL，Peak Sidelobe Level，峰值旁瓣电平）的联合协同优化，并在目标函数中嵌入三域随机误差模型与大气效应感知评估，以验证该方法在实际非理想条件下的鲁棒性。该研究成果发表于《Electronics》。

主要关键技术方法

研究人员搭建了基于改进Dueling DQN的阵列协同优化流程：(1) 建立六环稀疏同心圆环阵列模型，定义状态空间为当前环半径与各环单元数组合，动作空间为按离散增量调整半径或增减单元数；(2) 设计双层自适应步长策略——外层根据训练回合（episode）动态调整动作步长以平衡探索与开发，内层依据Q值变化率微调步长以加速收敛；(3) 奖励函数以含三域高斯随机扰动的PSLL期望值（多次Monte Carlo抽样取统计均值）结合大气效应引起的波数修正项计算，引导网络压低最坏情况下的旁瓣电平；(4) 引入三域随机误差模型分别对各单元位置(x,y)、激励幅度A与相位φ施加独立零均值高斯扰动，并在高频传播路径中引入基于折射率剖面的大气效应相位延迟项以构成大气效应感知评估模块；(5) 分别以仅优化环半径（radius-only optimization）和联合优化环半径＋各环单元数（joint radius and element-count optimization）两种模式训练网络，并以初始未优化阵列及标准DDQN方法作对照，最后用10?次Monte Carlo仿真及实测气象数据验证鲁棒性。

研究结果

Array Model and Tri-Domain Error plus Atmospheric Effect Modeling（阵列模型与三域误差及大气效应建模）

研究人员建立了N环稀疏同心圆环阵列模型，第i环半径为R_i、单元数为M_i，阵列因子含各单元幅相权重。三域随机误差模型中，位置扰动Δx,Δy～N(0,σ_p²)，幅度扰动ΔA～N(0,σ_a²)，相位扰动Δφ～N(0,σ_φ²)；大气效应通过在自由空间波数k₀上叠加由大气折射率n(h)沿传播路径积分得到的等效附加相位项予以建模，构成大气效应感知方向图评估函数。

Improved Dueling DQN with Two-Tier Adaptive Step-Size Strategy（带双层自适应步长的改进Dueling DQN）

研究人员将Dueling DQN的价值函数分解为状态值函数V(s)与优势函数A(s,a)，并加入双层自适应步长机制：全局步长随训练回合数指数衰减，局部步长按连续回合Q值变化量反比例缩放。经对比实验确定网络为全连接三层隐含层（节点数分别为128/64/32），采用ε-greedy策略与经验回放（experience replay），目标网络软更新。该改进使算法在阵列参数高维离散空间中较标准DDQN更快收敛且不易陷入局部最优。

Radius-Only Optimization Results（仅半径优化结果）

对六环阵列固定各环单元数为常规均匀稀疏分布，仅优化环半径。改进Dueling DQN所得最优半径组合使无误差条件下的PSLL＝－24.4810 dB，较初始均匀同心圆环阵列（PSLL≈－18.672 dB）平均改善5.809 dB，且较基准DDQN方法（PSLL＝－22.35 dB左右）有额外约2.13 dB的旁瓣进一步压低，证明改进算法在单变量几何优化上的有效性。

Joint Optimization of Radii and Element Counts（半径与单元数联合优化结果）

扩展至同时对六环半径及各环单元数进行联合优化后，优化阵列在无误差时PSLL降至－30.629 dB，较仅优化半径方案再降低约6.15 dB，表明几何尺寸（半径分布）与稀疏度（各环单元数）协同控制可更充分发挥稀疏同心圆环阵列的低旁瓣潜力。

Robustness Analysis under Tri-Domain Stochastic Perturbations（三域随机扰动下的鲁棒性分析）

研究人员对优化后阵列施加典型三域误差（σ_p=λ/100，σ_a=0.05，σ_φ=3°），进行10?次Monte Carlo仿真。仅半径优化阵列的平均PSLL为－23.12 dB，联合优化阵列的平均PSLL为－26.758 dB，两者均仅较理想情况恶化约3~4 dB且分布集中，显著优于未优化阵列在相同扰动下PSLL恶化至－14 dB左右的表现，验证了所提框架在非理想制造与工作条件下的结构鲁棒性。

Influence of Atmospheric Effects Based on Real Meteorrological Data（基于真实气象数据的大气效应影响）

研究人员代入探空站实测温湿压剖面计算大气折射率并修正传播波数，重新评估归一化方向图。结果表明大气效应使主瓣略有偏移、旁瓣包络产生±0.5~1.0 dB量级的波动，但在所考虑的频率与传播距离范围内，整体PSLL变化小于1.2 dB，阵列性能仍主要由三域随机扰动决定；该结果说明所建大气效应感知评估可用于高频精密阵列设计校核，但工程中首要仍需关注加工与馈电误差控制。

讨论与结论（翻译总结）

研究表明，所提出的基于改进Dueling DQN（含双层自适应步长策略）并融合三域随机误差模型与大气效应感知评估的稀疏同心圆环阵列联合优化框架，能有效在存在位置、幅度、相位扰动及大气传播影响的非理想条件下，同步完成环半径与各环单元数的协同寻优。仅优化半径即可使PSLL改善逾5.8 dB，联合优化可进一步将PSLL压低至－30.629 dB；Monte Carlo仿真证实优化后阵列在三域随机扰动下保持稳定的低旁瓣性能（平均PSLL＝－26.758 dB）。基于实测气象数据的分析显示大气效应对归一化方向图引入中等程度变化，在所建模型条件下整体性能仍主要受随机扰动支配。该框架为实际高频应用场景中稀疏同心圆环阵列提供了一种有效且鲁棒的优化途径。